Os servidores geralmente têm a capacidade mínima de vídeo. Qualquer coisa relacionada a gráficos terá um desempenho ruim.
Mas há um problema conhecido que afeta especificamente o acesso remoto, mas talvez esteja causando outros problemas. Você precisa desativar a aceleração de hardware porque seu servidor não tem o hardware para lidar com isso. A CPU pode realmente fazer um trabalho muito melhor.
Eu sei que o link acima é para a estação de trabalho do Windows, mas as etapas devem ser bastante semelhantes.