Tive muito sucesso ao criar cenários como este no VMWare ESXi, mas apenas um experimento com o Hyper-V. Naquele caso específico, acabei com uma configuração muito boa para VMs cliente com vGPUs funcionando bem, mas para a edição do Windows Server, não consegui fazer isso funcionar. Isso é realmente detalhado por MS aqui . Citando o documento:
Note, RemoteFX vGPU cannot be used with a Remote Desktop Session Host (RDSH) or RemoteApp deployment
Isso praticamente diz que não (ou pelo menos não pretende) funcionar do jeito que você quer.
Usando o VMWare, você pode fazê-lo funcionar passando a GPU física para uma determinada VM. Se você estiver usando uma das GPUs que realmente funcionam bem nesse cenário, poderá obter o que deseja. Não sei se algo semelhante pode ser feito no Hyper-V.