Se você quer ser tecnicamente pedante, um não deve executar mais código do que o estritamente necessário em um host Hyper-V. Ele adiciona a superfície de ataque ao hipervisor e rouba injustamente os ciclos da CPU das máquinas virtuais executadas nesse hypervisor.
Mas se isso não for produção ... apenas para fins de desenvolvimento ... faça o que quiser.
(PS - Eu acho que o Hyper-V no Windows Server 2016 tem PCI (e) capacidade de passagem para que você possa hipoteticamente passar sua GPU diretamente para uma VM ... mas não cite-me sobre isso.)