O motivo não é a conexão do servidor / cliente SSH, mas a conexão em si. Se você está vendo uma grande perda de pacotes, verifique :
- Os cabos físicos, roteadores, switches, etc. Mude tudo. Se a perda de pacotes ocorrer apenas quando você fizer ping no servidor, verifique a instalação física do servidor
- Verifique a carga de trabalho do servidor, talvez seja enforcado. Reinicie o servidor, se necessário.