Abra o Explorer no seguinte local:
%APPDATA%\Microsoft\Internet Explorer\Quick Launch\User Pinned\TaskBar
Em seguida, altere os ícones clicando com o botão direito e mudando o ícone e localizando o arquivo .ico do seu ícone que você gostaria de usar.
Depois de alterar todos os seus ícones que você deseja alterar, abra o gerenciador de tarefas (Control + Alt + Delete) e termine o explorer.exe Em seguida, clique em Arquivo > Nova Tarefa (Executar ..) Digite Explorer.exe e pressione Enter. Vai funcionar então ... aproveite!
PS: Eu só sei disso porque acabei de descobrir como fazer isso sozinho e com sucesso mudei todos os meus ícones há alguns minutos atrás!