Você pode dar uma olhada no Xen VGA passthrough. Não é fácil de configurar, mas uma vez feito, você tem acesso total à sua placa gráfica sem nenhum ou mínimo impacto no desempenho.
Aqui está um vídeo que demonstra o que você pode conseguir com o Xen: link
Observe, no entanto, que, durante o repasse, sua placa gráfica ficará oculta do host. Se você tiver mais de um monitor, você pode adicionar uma segunda placa gráfica e usá-la para o host do sistema operacional (pode ser uma placa gráfica de baixo custo se você não estiver fazendo coisas sofisticadas em 3D no host).