Existem duas possibilidades:
1) Você precisa examinar as permissões de proprietário / grupo do diretório que contém o arquivo ou diretório que você tenta excluir, pois essa entrada será modificada se um arquivo (ou diretório) dentro dele for excluído.
2) A conta (associação de grupo) do usuário xyz é modificada, mas o usuário não está usando um novo shell e, portanto, a nova associação ao grupo ainda não está ativa. Tente id -a
dentro do contexto (shell) do usuário que está tentando excluir o arquivo para obter os grupos atuais