Acabei encontrando o método puramente por acidente.
Se você clicou em um ícone na sua barra de tarefas que se refere a algo que não está mais lá, você recebe uma mensagem de erro e pergunta se deseja remover esse ícone. Aceite e foi embora.
Eu tentei a versão de desenvolvimento do Chrome por alguns dias, não gostei porque minhas guias foram quebradas e não seriam carregadas corretamente. Voltei para a versão ao vivo, mas esqueci de desinstalar a versão de desenvolvimento, que me dava dois ícones cromados na barra de tarefas, mas ambos carregavam uma versão quebrada do Chrome. Em seguida, desinstalei o Chrome através do painel de controle e reinstalei a versão ao vivo, mas agora tenho um desses links quebrados na minha barra de tarefas (uma página em branco com um canto dobrado) que aponta para uma versão do Chrome que não está mais lá. Existe uma maneira de remover este ícone?
Clique com o botão direito no ícone e selecione "descomprimir este programa na barra de tarefas". É isso!