Eu tive o mesmo problema.
A tarefa explorer.exe travou e o resultado foi a situação descrita na pergunta acima.
Para resolver isso do RDP, usei ctrl + alt + end (duas vezes), depois selecionei a opção Task Manager no menu e, a partir daí, reiniciei o processo explorer.exe selecionando File - > Execute uma nova tarefa (digitei "explorer.exe" na caixa de texto aberta).