Eu acho melhor você executar um sistema operacional host que ofereça suporte à sua VM escolhida e, em seguida, ajuste seu host para eliminar tudo o que você não precisa. Confie em mim, as futuras dores de cabeça que você evitará de tentar empinar 10 libras (bem, você sabe) em um saco de 5 libras valem o preço de usar uma distro 'menos minimalista'. Escolha uma distro que você esteja familiarizado. Debian, Ubuntu, Fedora, Mandriva são boas escolhas para o VirtualBox.
Se você escolher um sistema operacional host que esteja na borda sangrenta de sua MV, você sempre terá problemas incômodos com discos remotos, áudio, 3D, periféricos, o nome dele. Não serão todos esses problemas o tempo todo, mas apenas algo chato que você realmente não precisa em sua vida.
Eu corro o Windows XP SP2 rotineiramente no VirtualBox no Ubuntu e no Fedora e posso dizer que ele é mais rápido do que se eu tivesse instalado o XP na minha máquina. Não faço ideia do porquê, mas parece ser verdade.
Eu não posso falar pelo VMWare.