Se você tiver uma instalação 'mínima' do Debian ou do CentOS, você acaba com um sistema extremamente pequeno que pode adicionar coisas (como um ambiente de desktop) como quiser. Ambos são compatíveis com os dois virtualizadores listados.
Existe uma leve distribuição Linux (como PuppyLinux, Slitaz etc), mas que suporta software "convidado" / "suporte" (como o VMware Tools, o VirtualBox Additions).
Se você tiver uma instalação 'mínima' do Debian ou do CentOS, você acaba com um sistema extremamente pequeno que pode adicionar coisas (como um ambiente de desktop) como quiser. Ambos são compatíveis com os dois virtualizadores listados.
Qualquer distribuição executada com XFCE ou LXCE gerenciadores de desktop será muito leve e você poderá usar o virtualbox e o vmware com facilidade. Eu sugeriria o LMDE (Linux Mint Desktop edition) que é executado no novo gerenciador de desktop MATE , que é um fork do gnome2 clássico. É bem leve, e eu vi que é muito bom. Ou então LUBUNTU no lxce e XUBUNTU no xfce devem ser bons para você.