Na Conexão de Área de Trabalho Remota (RDP), o Servidor não envia a tela para a tela do cliente. Esse processo é muito caro porque você tem que pesquisar constantemente a tela para quaisquer alterações que podem ser facilmente + 7MB de dados. O RDP usa um protocolo especial. Basicamente, usa a tela virtual. Isso meio que interage com a placa gráfica. Em vez de enviar a tela para a tela atual, ela envia o conteúdo da tela para uma tela virtual.
Este artigo e este por Nadim Abdo, da Microsoft, explica isso muito bem. Fala sobre todos os mitos sobre o RDP. O seguinte é um gráfico de largura de banda do artigo
Largura de banda alta típica do RDP é de 130 Kbps (Kilo bits por segundo) A banda baixa típica do RDP, como a rolagem, etc., é de cerca de 5kbps.
Note que o meu problema é principalmente com rolagem e troca de abas no firefox. Como tenho velocidade de 4Mbps (3,6Mbps efetivos), isso não deve ser um problema. Estou assumindo que a velocidade lenta que estou recebendo é por causa do meu computador servidor, que às vezes fica lento e eu sei que não é a máquina mais rápida do planeta.