Isso será fechado, mas é uma decisão de design como qualquer coisa. Por exemplo, um NIC de 10 Gb só é útil se você tiver uma porta de 10 Gb para conectá-lo. 10 NICs de 1 Gb podem se encaixar perfeitamente no seu switch principal. Além disso, você precisaria de dois (em switches separados) para redundância.
Tomando sua rota de virtualização, é muito útil ter várias NICs, pois ela permite mais flexibilidade na criação de sua rede. As VLANs são ótimas, mas no final você está forçando tudo em um único canal e é mais fácil falar do que fazer para gerenciar esse tráfego. E, do ponto de vista específico da VMware, é muito mais fácil gerenciar suas redes virtuais com várias NICs separadas.
Por exemplo, você pode ter 2x para armazenamento iSCSI, 2x para VLANs de produção de máquina virtual, 2x para backups (para não causar impacto na rede se quiser executar backups diurnos ou o serviço for 24/7) e 2x para gerenciamento de hyper visores. São 8 NICs independentes ali que eu posso martelar sem afetar os outros serviços.