Uma maneira de testar para ver o que está acontecendo durante o login do ssh é usar o modo de depuração / verbose:
ssh -v my.host
ou
ssh -vv my.host
Isso mostraria as mensagens de depuração que acontecem quando você faz login, a segunda opção sendo mais detalhada que a primeira.
(ref link )
Também no lado do servidor, talvez verifique /var/log/auth.log
para ver se algum erro está ocorrendo durante este processo, o que fica mais lento mostrando o campo de senha.