Clique com o botão direito do mouse no atalho da barra de tarefas enquanto mantém pressionada a tecla Shift e selecione Propriedades.
Altere o ícone como faria em qualquer outro atalho da área de trabalho.
Você precisa reinicializar para que a alteração entre em vigor.
Ou, alternativamente, para inicializar, apenas mate o explorer.exe no Gerenciador de Tarefas e execute-o novamente a partir do menu Arquivo - > Nova tarefa.