Você pode optar por uma instalação básica do Linux, como o X (e um gerenciador de janelas do somesort), o VMware Server e o Firefox (para executar o console do VMware). Uma configuração semelhante a esta caberia em 2 GB, e custaria quase nada, ou uma configuração semelhante ao Firefox com VirtualBox .
O VMware Server é muito bem feito para isso. O VirtualBox faz bem o suficiente e tem melhores ferramentas de snapshot, eu acho. Usando um sistema operacional de estação de trabalho para isso parece um exagero quando você pode construir em torno de suas necessidades.