Abra o menu iniciar e então Ctrl + Deslocamento + Clique com o botão direito do mouse em qualquer espaço em branco acima, ao redor ou no "Desligamento" o botão abrirá uma opção para "Sair do Explorer", conforme mostrado:
Originalmente,acheiissoem
Você ainda precisará abrir o Gerenciador de Tarefas para iniciar o Explorer novamente. A resposta de Alex detalha como você pode abrir rapidamente o gerenciador de tarefas para reiniciar o Explorer.
O mesmo pode ser feito no Windows 8 fazendo a mesma ação na barra de tarefas (graças a Karl nos comentários). Isto é presumivelmente porque o botão Iniciar está faltando.