O RDP não é um protocolo criptografado antes da v6 (consulte wikipedia ).
No entanto, se você estiver executando em cores vivas, com v6 ou posterior, tanto a qualidade de imagem superior quanto a criptografia secundária afetarão você.
Além disso - se você estiver se conectando a uma caixa de serviços de terminal (em vez de apenas a sua área de trabalho), o servidor pode estar sobrecarregado e sua taxa de transferência pode ser um sintoma secundário disso.
Então - meu conselho seria diminuir a configuração de cor e garantir que você não esteja encaminhando nada em nenhuma direção (unidades, sons, impressoras etc.) de que não precise.
Você também pode ver wireshark ou algo semelhante para ver se está ocorrendo um estrangulamento.