Até onde sei que o desktop remoto no servidor não funciona para isso. Você deve usar a área de trabalho remota em uma máquina convidada no servidor que tenha todos os RemoteFX / vGPU, etc. ativados. Este convidado precisa ser o Enterprise Edition do Windows 7 ou Windows 8.
Várias máquinas virtuais podem usar o mesmo GPU físico de um vGPU.
Mais informações: Guia de configuração e configuração do RemoteFX vGPU para o Windows Server 2012