Provavelmente não há informações suficientes, mas aqui estão algumas orientações gerais:
Se outros clientes remotos estiverem bem e não tiverem o sintoma, o problema provavelmente não está no servidor. Pode ser a conexão para esse cliente.
Uma retransmissão normalmente significa que um pacote não foi reconhecido, portanto geralmente não haverá "erros" em uma captura de pacotes. Isso significa que uma extremidade estava enviando os pacotes e a outra não foi confirmada. Você pode querer realizar a captura de ambas as extremidades, para determinar se a retransmissão é unidirecional ou ambas as maneiras.
Se você fizer ping no host do cliente, qual é o tempo de resposta? Se for mais de 150 ms, você poderá ter uma conexão abaixo do ideal.
A configuração do adaptador de rede do servidor para Large Send Offload deve ser desativada. O Windows deve ser inteligente o suficiente para saber que não pode enviar pacotes grandes para máquinas em sub-redes diferentes, mas infelizmente nem sempre é esse o caso. Se o seu servidor for um convidado hyper-v, isso é quase certamente o problema.
MTU. De um modo geral, acessando um servidor remotamente quando você não está na mesma sub-rede, a MTU deve ser sempre a menor MTU entre os dois pontos de extremidade. E isso geralmente significa o cliente. Para clientes remotos que se conectam através de VPN, não é incomum ter um MTU de 1400 ou até menor. Pode ser vantajoso definir o MTU do servidor para corresponder ao que seria o MTU mais baixo, para evitar problemas em que o MTU não possa ser descoberto corretamente (às vezes chamado de roteadores de buraco negro). Para encontrar o MTU para sua conexão, você pode inserir o seguinte comando do seu cliente:
ping -f -l xxxx <server ip>
Onde xxxx é o tamanho da MTU. Comece com 1400. Se funcionar, aumente até exibir a mensagem "O pacote precisa ser fragmentado, mas o DF setado". Se 1400 não funcionar, diminua até que isso aconteça. O maior número que funciona é o seu tamanho de carga útil. Adicione 28 ao tamanho da carga útil e essa é a sua MTU.
Você pode definir a MTU do servidor no seguinte local do registro:
HKLM\SYSTEM\CurrentControlSet\services\Tcpip\Parameters\Interfaces\{guid of the network adapter}
FYI - Os pacotes RDP são sempre enviados com o conjunto de bits "Não fragmentar".