Eu tentei transmitir gráficos 3D pela rede uma vez e descobri uma coisa: o desempenho é ruim. Isso acontece porque todos os drivers gráficos acelerados realmente não transmitem dados 3D pela rede (mesmo que seja loopback ou mesmo soquete abstrato UNIX), mas fazem alguma renderização direta.
As configurações que testei incluíam o Xming (o Xming é realmente portado para o Xorg) em clientes Windows + X no Linux e no Xorg e clientes no Linux. Rede foi de 100Mbit, placa gráfica foi NVidia GeForce FX 5200 (que não é uma placa muito recente, mas definitivamente pode lidar com glxgears), e ambos os computadores têm processadores de classe PIV e cerca de 1Gb de RAM através destes dois limites não foram alcançados. p>
Eu comecei o glxgears como cliente. Em ambos os casos, ele exibiu uma animação muito fragmentada e valores FPS em torno de 30 ou 50. Para comparar, eu também executo o glxgears nativa e mostrei cerca de 8000 no host Linux e IIRC 500 no Xming com glxgears portados (isso foi há cerca de um ano e desempenho Xming) pode ser melhor agora). Então, o desempenho da rede é definitivamente o gargalo para gráficos 3D.
Além disso, devo observar que o VNC opera somente com gráficos 2D: ele possui um protocolo muito simples que consiste principalmente em comandos como "mostre essa imagem retangular nessas coordenadas", por isso definitivamente não mostrará nenhum desempenho 3D.