É difícil diagnosticar um problema com tão pouca informação. Aqui está uma lista de coisas que você pode fazer para melhorar suas chances de diagnosticar corretamente seu problema:
1) relógio uma transferência de um arquivo grande (digamos 1GB). Você pode fazer assim
time scp largefile remore_user@remote_server:/home/remote_user
2) Você está fazendo mais alguma coisa nesse meio tempo? Fazendo o download de algo, usando uma conexão vnc , executando uma computação intensa, atualizando o sistema ou talvez outro sistema na mesma LAN? Seria útil olhar para uma imagem da saída de um dos vários monitores de sistema gráfico, que detalham o uso da CPU, tráfego e uso de memória, em qualquer máquina, como você está ssh'ing no servidor remoto.
3) Faça um traceroute do endereço IP do servidor da máquina local.
4) veja a tabela de roteamento de cada sistema para ter certeza de que eles estão na mesma sub-rede.
5) verifique a interferência de rádio. No Linux, você pode fazer isso com o comando:
sudo iw dev wlan0 scan
que mostrará o canal e a força do sinal do seu wifi, bem como os das redes vizinhas.
6) verifique ping vezes entre cliente e servidor;
7) alterar o algoritmo de criptografia;
8) observe o processo de registro em detalhes. No servidor, você precisa iniciar ssh não no modo daemon, mas no modo de depuração:
/usr/sbin/sshd -Dd
enquanto no cliente
ssh -vvv remote_user@remote_server
para verificar se há algo incomum.
Qualquer uma das opções acima pode fornecer informações úteis. Tenho certeza de que pessoas mais inteligentes do que eu serão capazes de adicionar cheques à mesma lista.