Versão resumida da correção, caso esses links não funcionem no futuro:
Crie um atalho para a pasta explorer na sua área de trabalho e edite a localização do atalho para que ele diga "explorador" antes do caminho. Você também pode alterar o ícone, indo para o atalho - > Alterar opção de ícone. Em seguida, fixe o atalho na barra de início.
Observe que, como este é um atalho e não um aplicativo que você está fixando, quando você clica no atalho, a janela é aberta no ícone principal do Explorer.
Pessoalmente, sou um grande fã de usar o recurso de pin oficial para fixar pastas no aplicativo do Explorer (mantém a barra de início limpa), mas suponho que você esteja perguntando especificamente como fixar o ícone separadamente que você considerou essa opção. Mas queria mencioná-lo como uma opção apenas no caso.