A exclusão de um atalho never exclui o aplicativo associado a esse atalho. Se você observar atentamente o texto da sua segunda captura de tela, notará que ela está pedindo
...permission to delete this file
Confusamente, a localização mencionada na caixa de diálogo é o nome da pasta que contém o alvo do atalho. Você pode confirmar isso inspecionando as propriedades do atalho e observe que esse nome de pasta está presente no caminho do destino do atalho. Nem esta pasta nem seu arquivo de destino são excluídos quando o atalho é removido.
O motivo pelo qual são necessárias permissões administrativas é porque o atalho está localizado na pasta Public Desktop, que é compartilhada por todos os usuários do computador. Devido às permissões dessa pasta, você deve ter direitos de administrador para modificar seu conteúdo. Isso impede que usuários não administradores façam alterações que afetariam outros usuários do computador.