Teste wireshark
no servidor e / ou no cliente. Eu acho que há um congestionamento de rede acontecendo que força a janela deslizante TCP tamanho de suas transferências. Todos os componentes conectados com controle de fluxo rx / tx estão definidos como "on"?