Excluir um arquivo significa que você está fazendo alterações no diretório em que ele reside, não no próprio arquivo. Seu grupo precisa de rw no diretório para poder remover um arquivo. As permissões em um arquivo são apenas para fazer alterações no próprio arquivo.
Isso pode parecer confuso no início até você pensar em como o sistema de arquivos funciona. Um arquivo é apenas um inode e o diretório se refere ao inode. Ao removê-lo, você está apenas removendo uma referência ao inode desse arquivo no diretório. Então você está mudando o diretório, não o arquivo. Você poderia ter um link físico para esse arquivo em outro diretório, e você ainda seria capaz de removê-lo do primeiro diretório sem realmente alterar o arquivo em si, ele ainda existiria no outro diretório.