Você pode excluir tudo exceto para a lixeira e, se você selecioná-la junto com outros arquivos, a exclusão falhará sem nenhum erro.
A falta de erro não é muito amigável, mas você pode simplesmente evitar a lixeira e ela funcionará.
EDITAR
Ícones colocados na área de trabalho por um administrador também são impossíveis de serem apagados como um usuário comum; no entanto, nesse caso, você deve ver uma caixa de diálogo pedindo para você fazer o login como administrador.