O desempenho do espaço de troca não é realmente uma extensão da RAM física normal. Se suas máquinas precisarão de espaço de troca ou não, é em grande parte determinado pelo papel que elas desempenham. Por exemplo, recomenda-se que as máquinas que executam um banco de dados Oracle tenham uma certa quantidade de espaço para troca (o Oracle tem recomendações oficiais para isso), independentemente da quantidade de RAM instalada.
O ESX pode comprometer mais a memória, por isso, se você alocar 6GiB de RAM para cada máquina, isso não significa que cada máquina realmente consome cada bit desse 6GiB.
O ESX também trocará memória por conta própria. O ESX criará um arquivo de troca por VM e, se necessário, trocará a memória da VM para o disco. Para a VM, ainda parecerá que os blocos de memória estão localizados na RAM, embora venham do disco.
Se você puder poupar a RAM e as VMs exigirem, aloque 6GiB para elas. Isso não significa que eles não se beneficiarão de ter uma partição swap dentro da VM. Por padrão, o Linux tentará trocar a memória não utilizada. Isso é definido pelo parâmetro sysctl "vm.swapiness".
Para encurtar a história, apenas listar as opções não fornecerá um tamanho único para todas as respostas a como configurar sua RAM. Conte-nos mais: finalidade, hardware, etc.