SSH congela o computador inteiro ao efetuar login

Question

Estou usando um wheezy Debian principalmente para tocar música e navegar na web como um computador compartilhado. O problema é que todas as conexões SSH congelam o computador por um momento quando são iniciadas. Para ser claro: todas essas conexões SSH funcionam normalmente de qualquer outro computador, portanto, o problema é mais provável no cliente enviando as solicitações do que no servidor que as recebe. O que vejo quando inicio uma conexão SSH:

• O uso da CPU sobe para 100% (de acordo com a pequena exibição na barra de tarefas)
• Todos os aplicativos congelam, por exemplo a música pára de tocar e o comando de topo no terminal congela
• Depois de cerca de um minuto, eu finalmente recebo a senha para entrar e nesse momento o congelamento acabou e tudo começa a funcionar normalmente (o exemplo de login abaixo era apenas login e logout imediatamente para obter uma aproximação do tempo usado)

Outras coisas que analisei:

• posso fazer ping nos servidores aos quais estou me conectando
• O SFTP também não funciona
• Todas as outras conexões funcionam bem

Por trás do link há mais informações sobre o processo (eu mudei os nomes de usuários e nomes de computador). Há algo que eu esteja perdendo sobre o que poderia estar causando esse problema?

link