Existem muitas causas possíveis para o problema - o mais provável é que sejam gargalos entre provedores ou entre pontos de presença em uma rede de provedores.
Existem várias ferramentas que podem ajudar a diagnosticar os problemas, mas nenhuma única. A ferramenta mais fácil de usar é a MTR, que combina traceroute e ping para mostrar latências e perda de pacotes. É importante observar a perda de pacotes, já que ela é frequentemente associada a lentidões - na verdade, o protocolo tcp é construído com base na suposição de que, se a rede deva desacelerar, deve descartá-lo como uma sugestão para retardar a transmissão.
(Por outro lado, é possível priorizar o tráfego para enganá-lo - e nem mesmo deliberadamente às vezes -, por exemplo, roteadores são melhores em encaminhar pacotes e depois respondê-los.) Dito isso, algo como MTR é muito boa ferramenta.
A próxima ferramenta para olhar é algo como iperf. Isso faz o teste de largura de banda. Pode ser útil saber o que acontece com várias conexões simultâneas - Existe uma correlação frouxa entre os aumentos da velocidade total de conexões simultâneas e o congestionamento - no entanto, as latências e as distâncias também desempenham um papel.
Você também pode querer ver como o seu servidor está ocupado. Se eles são caixas linux, o iptraf é uma interface de base de texto que pode ser útil e fácil de executar. Existem muitas outras ferramentas que você pode usar também.
Além disso, uma observação de que o "load" não lhe diz necessariamente nada sobre o quão carregado o sistema está - é apenas um resumo do número de tarefas esperando para ser manipulado. Não é inútil, mas é perfeitamente possível ver cargas extremamente altas (centenas) e ainda ter um ótimo desempenho - dependendo de vários fatores - incluindo restrições de largura de banda, mas também esperas de disco e processos simultâneos. Executar programas como o vmstat ou o iotop pode fornecer insites melhores para o que está acontecendo.
Por último, você falou sobre "uma máquina". Esta é uma máquina real ou uma VM? É possível que uma VM pareça boa, mas seja restringida pelo provisionamento excessivo / baixo desempenho do host.