Somente um proprietário de arquivo / diretório ou root pode usar chmod / chgrp / chown em um arquivo / diretório. É assim que é projetado para funcionar.
A permissão dar rwx ao grupo permite que os membros do grupo tenham acesso total ao conteúdo do arquivo, mas não aos metadados que contêm as informações do proprietário / grupo / permissão do arquivo.