Duas opções - manual:
Para remover entradas da caixa Computador de Conexão de Área de Trabalho Remota no cliente de Conexão de Área de Trabalho Remota do Windows, inicie o Editor do Registro e clique na seguinte chave do Registro:
cliente \ servidor do servidor HKEY_CURRENT_USER \ Software \ Microsoft \ Terminal
As entradas aparecem como MRUnumber e ficam visíveis no painel direito.
Para excluir uma entrada, clique com o botão direito do mouse e clique em Excluir.
Automático:
Clique no botão corrigir me no site da Microsoft: link