Se você navegar até o seguinte local no registro, poderá ver uma lista de conexões feitas;
"cliente \ servidor do servidor HKEY_CURRENT_USER \ Software \ Microsoft \ Terminal"
Sob essa chave, você deve conseguir remover todas as entradas.
veja aqui
A Conexão de Área de Trabalho Remota no Windows (mstsc) salva os computadores anteriores aos quais você se conectou no menu suspenso "Computador".
Como posso limpá-los ou excluir entradas seletivamente?
Se você navegar até o seguinte local no registro, poderá ver uma lista de conexões feitas;
"cliente \ servidor do servidor HKEY_CURRENT_USER \ Software \ Microsoft \ Terminal"
Sob essa chave, você deve conseguir remover todas as entradas.
veja aqui
Tags windows remote-desktop