Primeiro, verifique seus conversores de mídia e links de rede e execute uma comparação ao usá-los vs quando conectado diretamente a 1Gbps ao servidor por meio de um cabo CAT6 curto. Existe alguma diferença? Se houver, você precisa melhorar a rede. Por exemplo, execute cat6 diretamente sem os conversores de mídia ou execute fibra para todo o comprimento de execução. No entanto, é provável que sua rede esteja configurada dessa forma por um motivo e você talvez não consiga alterá-la.
Fora isso, verifique os tempos de ping brutos entre o servidor e os clientes, ele deve ser de 1 a 5ms na LAN e deve percorrer o menor número possível de dispositivos e redes.
O MS RDP é leve em termos de recursos, e os desktops remotos realmente NÃO são adequados para gráficos intensivos em altas resoluções. Se este for um grande problema para você, você deve procurar no Citrix ICA com a tela de velocidade habilitada. Você deve ver melhorias significativas na taxa de atualização com esse valor em relação ao RDP.
Veja uma comparação: link