O ESXi não suporta diretamente a API do OpenStack. Há o VMware Integrated OpenStack (VIO) ... embora eu não ache que seja compatível usar outros hypervisors com isso.
Se você quiser usar o vSphere como back-end para o OpenStack sem o VIO, isso é felizmente documentado aqui mas parece que isso funciona apenas via vCenter.
Se você não puder usar o vCenter porque deseja usar o hipervisor ESXi livre: não vejo vantagens sobre o KVM nesse caso.