Não tenho certeza se isso funcionará, pois obviamente não posso reproduzir o problema a ser testado, mas é isso que eu recomendaria:
Vá para o menu Iniciar, expanda Acessórios e expanda as ferramentas do sistema.
Clique em Limpeza de Disco.
Selecione o disco rígido principal (no entanto, você pode querer fazer isso nos outros depois ... mas acho que a opção a seguir só aparece no primário)
Em seguida, desmarque todas as caixas de "Miniaturas"
Clique em Ok.
Espero que isso limpe o seu cache de miniaturas e os force a reconstruir quando você visitar uma pasta.
Se isso não funcionar, nas opções de pasta, tente clicar em todos os botões "Redefinir Pastas" / "Restaurar Padrões", pois algo pode estar errado em uma opção que você não pode ver.