Eu já tive algo parecido. Acontece que o TCP estava se desconectando e se reconectando, porque o MTU da sessão estava ruim. Quando uma saída longa é enviada ao terminal, é o que aconteceria (a saída longa significa que pacotes grandes significam acima do limite da MTU real , digamos, se você estiver se conectando por um túnel).
No meu caso, uma redefinição de modem (eu estava VPN'ing de casa) resolveu isso. Em outro caso similar - uma configuração no firewall / VPN-gateway fez isso.
Isso acontece quando há muita saída para o console? Em caso afirmativo, você pode tentar executar o tcpdump na caixa remota, dizer a um arquivo, e ver se este é o caso?