Eu verificaria seus logs de eventos no PC do escritório porque parece que os Serviços de Área de Trabalho Remota estão aguardando que outro processo de login seja concluído antes de poder conectá-lo à área de trabalho.
Se você se desconectar antes de o RDS conectá-lo à sessão da área de trabalho, será forçado a aguardar antes de tentar conectar-se, pois ainda está aguardando a conclusão do logon.
Não há muito o que fazer para redefinir as coisas na reinicialização da barra de pontos e isso exige que você possa continuar.
Uma última coisa a notar é que mesmo enquanto o usuário tiver que esperar, outro usuário poderá se conectar e mais do que provavelmente quase instantaneamente em minhas experiências.