O KVM pode definitivamente funcionar. Veja RHEV da Red Hat (caro), Proxmox (grátis), oVirt (grátis).
Apesar disso, o VMWare ESXi é a plataforma mais simples e menos problemática (momentum e mindshare ). Eu não ficaria preocupado com o fato de ser de código aberto ou não, já que a compatibilidade de hardware é bem documentada e existe uma grande base de usuários muito muito . Vi pessoas fazerem coisas incríveis e criativas com a versão gratuita antes de se graduarem no produto pago.