Tente o seguinte:
-
obtenha uma saída detalhada para ver o que está acontecendo
prod$ ssh -v backup
-
use nome de usuário e ip apenas para ter certeza de que você está se conectando com as coisas certas
prod$ ssh -v user_name@prod_ip
-
verifique se você tem as chaves privadas correspondentes corretas nos servidores
-
também
~/.ssh/authorized_keys
deve ser um arquivo com uma chave por linha -
verifique as permissões
-
verifique seus registros de acesso, por exemplo, no Ubuntu
prod$ tail -f /var/log/auth.log