Conexões que param e eventualmente se recuperam são quase certamente causadas por quedas de pacotes. Deve ficar bem claro a partir de uma captura de pacotes, quando houver uma queda de pacotes. Se um pacote foi enviado por uma extremidade da conexão e não foi recebido pela outra extremidade, então ele deve ter sido descartado pela rede intermediária.
É possível que os pacotes estejam corrompidos durante o vôo, em vez de serem descartados. Nesse caso, você deve procurar por pacotes de dados, que não acionam um ACK. Se você puder encontrar qualquer um desses, então verifique se o pacote na extremidade de recepção é diferente do que foi enviado.
Esse tipo de análise é mais fácil de ser executada despejando-se o tráfego em um arquivo durante a reprodução do problema e, em seguida, fazendo o download de ambos os arquivos pcap para a máquina em que você inspecionará os arquivos. Posso recomendar o Wireshark para ver detalhes dos pacotes.