Acredito que a razão pela qual a Amazon usa a GPU voltada para os números crunching é porque é para isso que você usaria uma GPU para servidores. Não há um monitor conectado ao servidor, portanto a parte gráfica da GPU não é tão relevante. Quando você se torna remoto em um servidor e / ou fluxo, de um ponto de vista gráfico, em grande parte você está à mercê da conexão com a Internet do seu cliente e das capacidades gráficas da sua máquina cliente, não do servidor.
Dito isto, se no seu caso a renderização OpenGL é a parte complexa, e se isso pode ser feito remotamente de forma mais eficiente, e se o que você realmente quer ver no cliente pode ser enviado pelo fio do servidor e exibido com sua placa gráfica do cliente em menos tempo do que levaria o seu cliente para processar os dados por si só, então é possível que você possa se beneficiar disso.
(Certamente deve haver uma maneira melhor de escrever a última frase ...)