Esta pergunta deixa muito espaço para opiniões, mas eu vou descrever o que eu sei. Eu corro exclusivamente Linux para o meu sistema operacional host em todos os meus computadores. Eu sou obrigado a executar o Windows para determinadas situações de teste. Eu usei VirtualMachines com o Windows XP, Windows 7 (home-pro) e Windows 8 (ainda não tentei 10). Em última análise, quão bem um sistema operacional irá executar em uma VM dependerá de quanta máquina você pode alocar para ele (dentro do razoável).
Estou executando um AMD Core 3.5ghz de 8 núcleos com 32 GB de RAM. Estou executando de 3 a 5 máquinas virtuais a qualquer momento. Todos eles rodam bastante bem, seja no Windows ou nos vários sabores do Linux. Eu também executo o VMWare Workstation 10 e o VirtualBox. Meu servidor executa ESXI, o que me empurrou para o VMWare no passado. Dito isso, estou lentamente voltando ao VirtualBox.
Tanto o VMWare quanto o VirtualBox têm suas consultas individuais, portanto, independentemente de qual você escolher, a virtualização vem com custos. A despesa do VMware Workstation é o que está me empurrando para o VirtualBox novamente. Enquanto digito isso, estou em uma VM do VirtualBox, que é minha principal máquina de desenvolvimento. No segundo plano, tenho duas VMs de teste diferentes que ainda usam a estação de trabalho.
Agora, entre os dois, acho que os problemas de desempenho variam. Ao executar o Windows, há pouca diferença entre os dois ambientes virtuais. Um dos maiores aprimoramentos que encontrei é executar várias máquinas virtuais em discos rígidos separados e ter todas essas unidades separadas de sua unidade host. Normalmente, minhas VMs executam exatamente o que você está sugerindo que gostaria de executar: 4G de RAM e 2 núcleos. Embora no virtualbox eu costumo cobrir meu cpu em 99%. Parece tornar a máquina host mais confortável para usar quando a máquina virtual está sendo trabalhada.
KVM, acho que cai quando se trata de lidar com GUIs. É fantástico se você está fazendo máquinas sem cabeça, mas quando você bate na área de trabalho na maior parte do seu uso de vm, é melhor ir em outra direção.
O vinho é um desperdício de tempo para a maioria das coisas na minha experiência. Eu não sou fã, e simplesmente não é uma opção viável para mim em qualquer sentido.
Em termos de confiabilidade, eu acho que tanto o VirtualBox quanto o VMware Workstation são bastante sólidos. Mas, se você estiver comparando o VMWare Player e o VirtualBox, eu ignoraria o VirtualBox simplesmente pelo fato de que você pode utilizar instantâneos, que no meu trabalho são inestimáveis.