O VMware esxi pode executar qualquer máquina virtual criada em seus produtos de usuário final (estação de trabalho VMware, servidor VMware, player VMware).
Mas se você quiser apenas serviços compartimentados, experimente o LXC + Docker. LXC são contêineres que compartilham o kernel do host, a sobrecarga é muito menor e a alocação de recursos é mais flexível.
O Docker é uma camada que fica no topo do LXC e automatiza a configuração / desmontagem de contêineres orientados a serviços sob demanda. Ele é desenvolvido pela dotCloud e é o núcleo de sua infraestrutura de PaaS.
A execução do VMware esxi é um pouco exagerada. O VMware esxi é executado em bare-metal, então tudo o mais que você executar nessa caixa terá que ser virtualizado, e consumirá de 1 a 2 GB Ram por si só. Você também pode ter problemas se o seu hardware não suporta VMware esxi, é o seu próprio sistema operacional. A menos que você tenha um bom argumento para executar o VMware esxi, normalmente é melhor executar o Linux no bare metal como o sistema operacional host, pois ele será mais previsível e flexível.
Confira o Proxmox VE se você quiser um host de VM do hypervisor. É uma distribuição Linux (baseada no Debian) que executa VMs usando o KVM e o OpenVZ. Tem uma interface web agradável, suporta armazenamento em cluster e migração ao vivo do OpenVZ. Eles estão trabalhando para adicionar suporte ao LXC na próxima versão. A sobrecarga do SO do host PVE é de, no máximo, cerca de 1 GB, menos se você usar os contêineres do OpenVZ.
O melhor de tudo é apenas Linux, você pode usar qualquer tecnologia de armazenamento / rede de ponta no host para atender às suas necessidades. Você pode executar 10 VMs sobre o armazenamento do ZFS com a desduplicação, se quiser, experimentar o provisionamento de rede virtual automatizado com o OpenVSwitch ou adicionar o próprio LXC com o painel do LXC para facilitar a administração da Web. É apenas o Debian em seu núcleo.
O Proxmox VE existe há alguns anos e é muito bem mantido. Eu tenho usado por cerca de 4 anos (desde 1.x). Se você preferir uma distribuição RH / Centos do host, outra opção é o OpenNode, uma distribuição de host da VM baseada no RHEL / Centos.