Depois de fazer algumas pesquisas, consegui encontrar a solução. É um resultado do auto-ajuste agressivo da conexão, que causa o atraso na inicialização.
A execução do seguinte deve resolver seu problema.
netsh interface tcp set global autotuninglevel=highlyrestricted
Mais detalhes: Problema lento da área de trabalho remota resolvido