Os itens fixados na barra de tarefas são armazenados em dois lugares. Primeiro, há um atalho armazenado para o item, que pode ser localizado aqui:
%AppData%\Microsoft\Internet Explorer\Quick Launch\User Pinned\TaskBar
Mas isso não é tudo. As coisas que você fixa na barra de tarefas são de fato salvas ali como um atalho, mas a ordem e o que não vai além de arquivos simples, então o Windows também salva informações sobre isso no registro aqui:
HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Explorer\Taskband
no valor binário Favorites
. Se você procurar por lá, encontrará referências aos atalhos na pasta, além de outras coisas, como a Windows App Store e outras coisas que não têm necessariamente um atalho. Então, como consertar isso? Isso é difícil, porque você não precisa apenas corrigir o nome do atalho na pasta, mas também alterar o valor binário encontrado no registro. É provavelmente mais simples viver com isso ou alterar o título como parte do seu perfil.
$Host.ui.rawui.WindowTitle = 'My awesome PowerShell window!'