Acho que existe realmente um problema, que é discutido aqui: link .
Eu tenho uma VM rodando no Hyper-V (Windows 8) constantemente na minha máquina, que tem uma NVIDIA GeForce GTX 570 e não notei (visualmente, nem por medição de FPS) menor que 'o jogo roda sem problemas' FPS mas provavelmente é porque os jogos que eu corri não são tão famintos pela GPU.
Eu acho que uma referência realmente diria a diferença.