Eu verificaria com o suporte da Microsoft uma maneira de realmente fazê-los parar de fazer isso, mas se isso acontecer mesmo quando você não tiver nenhum aplicativo do Office aberto, há uma solução alternativa que pode funcionar: alterar as permissões de seu Pasta do Google Desktop para que somente o seu usuário tenha acesso de gravação.
Serviços e processos em segundo plano geralmente são executados por usuários do sistema (por exemplo, SYSTEM , LOCAL_SERVICE ), portanto, isso deve impedi-los de gravar em sua pasta Desktop, evitando a criação desses atalhos indesejados.
Observe que há também uma pasta da área de trabalho "todos os usuários" em %PUBLIC%\Desktop , então talvez você tenha que fazer o mesmo lá. No começo eu pensei em perguntar se há atalhos lá, mas como você diz que os exclui e eles desaparecem, acho que não é isso.
Se isso só acontecer quando você tiver um aplicativo do Office aberto, essa ideia não funcionará, já que você os executa a partir do seu próprio usuário.