A rede interna é controlada pelo vmkernel. Eu imagino que quanto mais o vmkernel estiver funcionando, mais degradação de desempenho você verá. De este artigo eles mencionam:
Verify that your ESX Server host is not overloaded. Networking relies on available processor resources. If the CPUs on the host are being used at capacity, network performance suffers.
Não há muito o que trabalhar. Este documento aborda um pouco mais as especificidades do netwoking VMware, enquanto este artigo de blog vai um pouco para o âmago da questão de redes e despesas gerais.