Todos os fatores de desempenho são afetados. Não há (ou mínimo) aceleração gráfica em uma VM com a maioria hipervisores (embora alguns hypervisors tenham algum suporte, que é altamente experimental ou tem requisitos de hardware bastante restritos).
Hypervisores de nível 1, como ESX, Hyper-V, Xen e KVM: a maioria das coisas terá uma penalidade de 3 a 5%.
Hipervisores de nível 2, como o VMware Workstation: a maioria das coisas tem entre 10 e 15%.
"GUI" não significa nada. Se for uma CLI no estilo DOS, você nunca poderá notar a diferença. Se for um ambiente 3D altamente detalhado (como um jogo), a penalidade de desempenho pode facilmente ser de 99% ou pior.
A maioria dos aplicativos de área de trabalho típicos tem pouco recurso, então você não notaria que está sendo executado em uma VM. Temos usuários com thin clients conectados a uma VM do Terminal Server e eles não percebem, a menos que tentem reproduzir vídeos em tela cheia ou algo similar em termos de recursos.
O ESX e o VMware Workstation não possuem o mesmo mecanismo de virtualização, embora sejam semelhantes em alguns aspectos.