Ative o "verbose" em ssh, que mostra as mensagens de remoção: ssh -v
. Isso pode mostrar o problema imediatamente.
Tente regenerar a chave com ssh-keygen -t rsa
e copiá-la novamente no servidor. Isso funcionou para mim quando o ssh está reclamando do tipo de chave (no modo detalhado) e do login sem senha.
Por fim, verifique as permissões do seu diretório .ssh
para garantir que elas não sejam muito permissivas.