Eu teria pensado que com a virtualização hoje em dia seria tanto guest quanto host que afetam o desempenho gráfico, o driver convidado passará as chamadas 3d para os drivers 3d do host para desenhar itens, embora eu possa estar errado sobre como funciona.
Os drivers da ATI são notoriamente ruins no Linux, eu os experimentei por um tempo e, para ser honesto, esse foi o principal motivo da minha escolha atual de sistema operacional. Concedido foi há cerca de 4 meses que eu joguei com o Ubuntu, então as coisas podem ter melhorado desde então, mas eu duvido. O problema que tive foi sempre que eu fazia qualquer coisa que fizesse uso das minhas capacidades de placas gráficas em 3D, meu CPU imediatamente subia para 100% e o sistema se tornava lento de usar. Pelo que eu poderia dizer na época, foi uma mistura de problemas como o X.org mudar o modelo do driver de vídeo e os drivers ATI Linux serem absolutamente inúteis.