Os logins lentos do SSH são geralmente devidos ao UseDNS sendo ativado em /etc/ssh/sshd_config (no lado do servidor). Observe que essa opção foi ativada por padrão até OpenSSH 6.8 .
Tente definir UseDNS no . Certifique-se de reiniciar sshd para que a configuração tenha efeito. Você também pode kill -HUP <sshd_pid> recarregar a configuração.