Os sintomas que você está descrevendo são sintomáticos para não ter largura de banda suficiente ou latência muito alta (o que pode ser uma sugestão para a alta utilização do link).
Se o ICMP estiver habilitado em todo o link da VPN, quais são os tempos de resposta "ping" ao longo do tempo entre o cliente RDP e o servidor RDP? Os tempos de resposta permanecem consistentes ou flutuam? Em caso afirmativo, qual é a variação do jitter?
As alterações de sintomas ocorrem em diferentes momentos do dia ou com cargas de tráfego diferentes no link da VPN? Existem outros aplicativos compartilhando o link da VPN?