Quando eu coloquei um cabo cruzado entre caixa física e um laptop e presenciei uma excelente velocidade e coloquei um interruptor entre e a velocidade ainda era ótima e então mudei os endereços IP de 192.168.0.x para endereços IP reais que eu tinha para a caixa física e para a VM, ocorreu-me que, enquanto o ESX e a caixa física estão um pouco acima do switch, as diferentes sub-redes IP determinam que todo o tráfego compartilhado entre elas deve passar pelo roteador do ISP que também está conectado para o mesmo interruptor.
Portanto, devido a diferentes sub-redes, o tráfego passou pela caixa do meu ISP, que o configurou para 100Mbps!