O Explorer é executado por usuário. Você pode fazer login em uma conta diferente que ainda não está conectada?
Editar: Além disso, se a sua sessão de área de trabalho remota ainda estiver ativa, CTRL + ALT + END deverá ter o mesmo efeito que um CTRL + ALT + DEL no sistema remoto. Isso pode fazer com que você fique com o Gerenciador de Tarefas, caso em que você pode matar / reiniciar o explorer.exe, conforme necessário.