Uma coisa que vem à mente é que uma conexão anterior não fechou corretamente, então você está excedendo o número máximo de conexões (geralmente 2). Embora, como você apontou no comentário, isso geralmente forneça um diálogo de erro.
Você precisará de acesso direto ao PC de destino para verificar isso. Infelizmente, não tenho a área de trabalho remota ativada neste PC para verificar o que você precisa verificar.
Eu também verificaria os logs de eventos no momento em que as tentativas de conexão falharam para ver o que foi registrado.