Com toda a probabilidade, isso não é um problema de configuração com seu servidor, mas sim uma configuração em um roteador, switch, firewall, proxy ou pacote de pacotes upstream que está entre sua estação de trabalho e o servidor.
Se você conseguir (ou seja, o servidor não estiver em produção), use um pequeno switch não gerenciado e configure um laptop para estar na mesma sub-rede que o servidor. Conecte ambos no switch para que a comunicação entre a sua máquina de teste e o servidor apenas atravesse seu switch mudo. Estou apostando que você verá um desempenho muito melhor, o que apontaria para um dispositivo de rede sendo o problema e não o próprio servidor.