Eu decidi não excluir essa pergunta na esperança de que ela possa ajudar outra pessoa. Meu problema estava em um software que não é imediatamente óbvio que ele faz alguma coisa com o File Explorer.
Eu encontrei minha resposta pensando na resposta do WinCEemu e pensei em qual shell "extensão" eu poderia ter instalado e percebi que instalei um pacote de software recentemente, o Movavi (movavi.com) Video Converter. Percebi que o produto mencionou que criou uma extensão de shell. Eu não pensei nisso na época.
Ao contrário do WinCDemu e da outra extensão de shell mencionada em outro artigo (desculpe, eu teria que encontrar isso novamente), eu tive que reiniciar o sistema. Possivelmente fazer logout e voltar teria feito o truque, mas reiniciei meu computador. De qualquer maneira, simplesmente desinstalar o produto não funcionou.