Os sintomas são consistentes com a rede, causando fragmentação de pacotes quando os pacotes ultrapassam um determinado tamanho. Se esse for o caso, a execução do seguinte comando (como root) deve mostrar uma melhoria drástica:
echo 2 > /proc/sys/net/ipv4/tcp_mtu_probing
A opção é descrita na página tcp(7)
man.
Caso contrário, eu usaria wireshark ou tcpdump para capturar os pacotes que compõem a conexão, e procuraria por ACKs atrasados ou ausentes e tentaria localizar um padrão.