Basta acessar esse local no Explorer:
%APPDATA%\Microsoft\Internet Explorer\Quick Launch\User Pinned\TaskBar
Fonte: link
Já se perguntou onde esses atalhos fixos são armazenados no Win7 / 8 / 8.1 / 10? Dessa forma, você pode editar, excluir ou criar novos atalhos. Às vezes, elas são duplicadas, mas não aparecem como marcadas, portanto, essa é a única maneira de excluí-las.
Basta acessar esse local no Explorer:
%APPDATA%\Microsoft\Internet Explorer\Quick Launch\User Pinned\TaskBar
Fonte: link