Eu me deparei com esse problema também. Aqui está uma solução:
1. Pin File Explorer to taskbar
2. Create a standart shortcut to your folder on Desktop.
3. Move newly created shortcut to C:/Users/Username/AppData/Roaming/Microsoft/Internet Explorer/Quick Launch/User Pinned/TaskBar
4. Remove "File Explorer" shortcut
5. Name your shourtcut "File Explorer"
É como substituir o atalho do File Explorer pelo atalho de pasta.