Curioso por não estar relatando nada em um arquivo de log. Meu pensamento inicial é um problema de desempenho possível (memória, cpu, rede).
Você menciona um servidor local, então estou assumindo que você está fazendo login localmente para verificar o problema? Em caso afirmativo, o sshd ainda está em execução? Se estiver, você já tentou executar um strace
?
Qual versão do sshd e do openssl você está usando? Talvez um bug ou alguém esteja travando seu sshd.