É o resultado do auto-ajuste agressivo da conexão, que causa o atraso na inicialização. A execução do seguinte deve resolver seu problema.
netsh interface tcp set global autotuninglevel=highlyrestricted
Mais detalhes: Problema lento da área de trabalho remota resolvido