Neste momento, ninguém da Microsoft está disposto a dizer uma maneira de fazer o Explorer ignorar a tag de rotação nos dados EXIF - veja aqui . Parece que está embutido e a única chance é que eles reconsiderem o cenário e o atualizem via Windows Update para fazer o explorador fazer isso dependendo da configuração do registro.
Se você deseja que o Windows pare de girar a miniatura de uma imagem específica, use uma solução ruim: abra a imagem no visualizador de fotos, gire-a e desfaça o trabalho. Isso limpará a tag EXIF.
Se você quiser se livrar deste aborrecimento, você pode tentar um software alternativo de geração de miniaturas que não faz isso. Você pode experimentar o poderoso gerador de miniaturas Sagethumbs ou algum software de visualização de fotos que integre sua própria função de geração de miniaturas.