Bem, sim, mais ou menos. Naturalmente, seria melhor abandonar o Windows Explorer como um todo e passar para outro gerenciador de arquivos de sua escolha. A maioria dos gerenciadores de arquivos alternativos pode fazer isso.
Se você quer ficar com o Windows Explorer, a extensão QTTabBar oferece essa funcionalidade. Há uma imagem disponível, oferecendo claramente essa opção. Parece que faz o que você quer, mas eu não sei se funciona com o Windows 8.