Somente se você estiver executando material intensamente gráfico no servidor (por exemplo, jogando jogos na sala do servidor durante o período de inatividade da manutenção). Todas essas coisas do servidor de terminal são definidas através do cliente. O servidor não fará processamento gráfico para os clientes.
Existem alguns casos em que as pessoas escrevem software para usar as GPUs em placas gráficas de última geração para realizar o processamento real, mas em 99% das vezes, a placa gráfica executa o monitor que está conectado ao computador. É isso aí. Eu não vi um servidor com mais que gráficos básicos a bordo ... Bem ... Nunca. A Sun costumava fazer algo que poderia fazer uma porcaria gráfica, mas eu acho que era mais bonito do que a funcionalidade real.