Se a sua área de trabalho remota estiver configurada para alta resolução e houver muito movimento na tela, muitos dados serão gerados em direção ao terminal.
Você pode configurar a sessão da área de trabalho remota para usar resoluções gráficas mais baixas para reduzir o tráfego.
Existem outras ferramentas ( TightVNC que são muito boas) que comprimem os dados e permitem comunicações muito rápidas.
Isso não quer dizer que os clientes da Microsoft são ruins. O MS Terminal Server também tem muita configuração, você precisa ajustá-los aos seus requisitos .