Parece que houve um bom progresso no repasse VGA, nos últimos 18 meses, então há uma chance de tal configuração funcionar hoje. O requisito aqui é que todos os elementos de hardware (CPU, placa-mãe, GPU) suportem IOMMU, seja Intel VT-d ou AMD-Vi (estes não são não iguais a VT-x ou AMD-V).
Estou prestes a tentar algo semelhante; meu plano A (pode haver B, C ... se A falhar) é tentar o KVM com versões muito recentes (estáveis) do kernel, libvirt e qemu. Provavelmente vou começar com qualquer uma das distribuições Arch, Fedora ou Proxmox (ou seja, Debian otimizado para KVM). Eu posso até tentar fazer a mesma coisa com várias distros para comparar o processo e o efeito.
Se você ainda está interessado em responder, encontrei este guia útil que está sendo continuamente atualizado e mantido atualizado (a partir de hoje - veja a data da minha resposta abaixo). Eu pretendo basear meu trabalho neste guia KVM VGA-Passthrough nos fóruns do ArchLinux
O KVM não é a única opção, há também um strong suporte na comunidade Xen para passagem VGA, ele também é suportado nas novas versões do EXSi. Se eu precisar do plano B ou C, estas serão minhas escolhas.