Encontrei tudo explicado em detalhes em este livro branco muito bem escrito . Basicamente, a referência usada nos benchmarks representa os desempenhos gerais de uma placa gráfica, não apenas a 3D.
O problema é encontrar um equilíbrio entre a CPU, a largura de banda da rede e os recursos da placa de vídeo.
Adicionamos algumas opções para ajustar a taxa de quadros, a resolução e a compactação MJPEG dependendo da situação, e isso ajudou muito, mesmo com uma placa de vídeo básica. A 350 $ GeForce nos permitiu levar as coisas um pouco mais longe para os clientes mais exigentes.
Então, posso considerar este caso como fechado.