Quando você digita:
ssh-keygen -N password123\$ -f bobskeys
o shell executará o ssh-keygen com argumentos -N password123$ -f e bobskeys .
Se você quiser passar password123\$ como argumento, você precisa citar:
ssh-keygen -N 'password123\$' -f bobskeys
ou barra invertida da barra invertida:
ssh-keygen -N password123\$ -f bobskeys
Caso contrário, o processo ssh-keygen não verá a barra invertida.