Pelo menos no XP em que estou, você pode ir para Ferramentas- > Configurações de pastas- > Tipos de arquivos, onde é possível editar os tipos de arquivos pressionando Configurações adicionais e pressionando o ícone Alterar para alterar o tipo de ícone. Isso não é por arquivo base embora.