Por fim, consegui que minha configuração desejada funcionasse. Parcialmente, mas o conceito funciona.
A resposta é de fato um hipervisor (como o vmware ESXi que eu uso) e a resposta real que eu precisava era VMDirectPath ou genericamente: passagem PCI (VT-d, na plataforma intel (que eu uso))
O problema para esta configuração é que, a fim de passar a placa de vídeo para uma VM, além de ter um processador e placa de rede capaz de repasse, você também precisa de um conjunto especial (pelo menos para VMware). Há um tópico dedicado para este assunto no vmware: link Certifique-se de ler isso ANTES de comprar qualquer hardware para tal configuração.
Minha configuração pessoal agora é usar um "cartão" USB VGA. Então eu tenho todos K, V, M no USB agora. O único problema chato que ainda tenho é que, quando a VM é inicializada, o adaptador de vídeo padrão é o virtual, portanto, preciso fazer o login do cliente vsphere (de outro PC) e alternar os adaptadores. Atualmente estou olhando para alguma forma automatizada de fazer isso e acho que vou encontrar algo, eventualmente (pior cenário, eu gravar uma macro :)).
Depois de remover o adaptador vmware padrão, tudo está ok agora.