Como o gerenciador de tarefas está mostrando que não está usando muitos recursos e sua descrição é somente GUI, suspeito que o problema seja conexão ou similar.
Para testá-lo, basta abrir as configurações na janela RDP (antes de se conectar) e alterar as cores e o tamanho na guia Exibir. Além disso, considere a guia Experiência, pois você pode escolher uma velocidade de conexão mais apropriada.
Por último, ouvi alguns dizerem que não adicionar para trazer as impressoras e a área de transferência pode ajudar na guia de recursos locais
Outra razão poderia ser simples, pois não ter o driver correto? Verifique se o servidor está atualizado?
Você disse que se mudou para uma nova máquina - isso tem o mesmo software / hardware (qualquer firewall, etc.) que pode ser acelerado (eu sei que é improvável fazê-lo, mas incluo por completo)