Nem todos os itens na área de trabalho são arquivos reais - alguns deles, como a "Lixeira" padrão ou o "Computador", são adicionados por extensões de shell.
Como você já conhece o GUID, inicie com o Editor do Registro em HKLM\Software\Microsoft\Windows\CurrentVersion\Explorer
(provavelmente Desktop\NameSpace
, mas possivelmente outras subchaves). O Regedit permite exportar chaves, para que você possa experimentar cada resultado: exportar para um arquivo, excluir, se não ajudar - importe novamente.
Note que as opções do menu de contexto que você listou são muito similares àquelas de um ícone do Internet Explorer embutido, então pode ser que ele tenha se corrompido e seja recriado de alguma forma. Mas eu ainda diria "delete".