Parece que pode haver problemas com o cache de fontes em seu computador. Crie um arquivo .bat com este código e execute-o:
ie4uinit.exe -show
taskkill /F /IM explorer.exe
cd /d %userprofile%\AppData\Local\Microsoft\Windows\Explorer
attrib -h iconcache_*.db
DEL /A /Q "%localappdata%\IconCache.db"
DEL /A /F /Q "%localappdata%\Microsoft\Windows\Explorer\iconcache*"
start explorer
shutdown -r -t 10
IMPORTANTE: Isso irá forçar a reinicialização de seu computador imediatamente. Certifique-se de que tudo esteja salvo e fechado antes de executá-lo.
O script não precisa ser executado como administrador.
Quando o computador reiniciar, dê alguns minutos, abra o Excel, feche-o, reinicie novamente e veja se seus ícones aparecem corretamente.