Eventualmente, decidi procurar no meu registro por quaisquer chaves que tivessem o mesmo valor que os ícones que não estavam aparecendo, durante a verificação em um sistema Windows 10 que estava funcionando. Acontece que os valores para todas as chaves estavam aparecendo em
Extensões HKEY_LOCAL_MACHINE \ SOFTWARE \ Microsoft \ Windows \ CurrentVersion \ Shell \ Bloqueadas
Quando eu removi os valores de lá e reiniciei o explorer, os ícones apareceram. Eu não tenho ideia de como eles terminaram naquela seção de registro, mas foi só isso. Espero que isso ajude alguém.