É lento somente quando conectado ou durante a sessão SSH, uma vez conectado?
Você pode diagnosticar o ponto em que "trava" durante a inicialização da sessão usando o parâmetro -v. Meu palpite é que está parando ao tentar resolver o endereço IP do seu computador. Se você tiver controle sobre o servidor SSH ao qual está se conectando, poderá adicionar
UseDNS no
para /etc/ssh/sshd_config para ignorar a etapa de resolução de DNS. Opcionalmente (e IMHO melhor / mais seguro, mas nem sempre viável), adicione o endereço IP do seu computador ao /etc/hosts do servidor para que ele seja resolvido mais rapidamente.
Se estiver lento durante a sessão, isso soaria como um problema de rede de nível inferior, você pode usar ping para o servidor para diagnosticar tempos de ida e volta e ver se estão OK ( qualquer coisa acima de 100-200 ms vai começar a se tornar lenta para uso interativo - depende de quão paciente você é :)).