Você deseja renderizar o aplicativo remotamente e apenas transmitir o resultado para seu nó.
Uma solução seria usar virtualgl (possivelmente com turbovnc para simplificar):
link
link
Basicamente, você deseja instalar o virtualgl, instalar o turbovnc e seguir o procedimento em link :
Procedimento
Follow the procedure described in Chapter 6 for starting a TurboVNC session and connecting to it.
Open a new terminal inside the TurboVNC desktop.
In the same terminal window, open a Secure Shell (SSH) session into the VirtualGL server:
/opt/VirtualGL/bin/vglconnect {user}@{server}
Replace {user} with your username on the VirtualGL server and {server} with the hostname or IP address of that server. Refer to the VirtualGL User’s Guide for additional vglconnect options.
In the SSH session, set the VGL_COMPRESS environment variable to rgb
Passing an argument of -c rgb to vglrun achieves the same effect.
In the SSH session, start a 3D application using VirtualGL:
/opt/VirtualGL/bin/vglrun [vglrun options] {application_executable_or_script} {arguments}
Uma abordagem completamente diferente seria passar o dispositivo nvidia pci para a vm usando o GPU-PASSTHROUGH. Isso requer suporte da BIOS e do host IIRC, mas permitiria que você usasse os drivers nvidia diretamente dentro da VM.
Por favor, note vmware suporte para nvidia passthrough parece ser apenas para produtos de grade, não seus produtos de geforce de grau de consumidor.
Alguns links para essas soluções:
Existem outros, não tenho certeza se o seu caso de uso é apropriado para essa abordagem.