Não é verdade, não. No entanto, algumas permissões de diretório são particularmente importantes em relação a isso: g + s faz com que novos arquivos em um diretório sejam de propriedade de grupo pelo grupo do diretório. O u + s faria o mesmo, mas para a propriedade do usuário, exceto que ele não é suportado no Linux. x em um diretório controlará a travessia - a capacidade das pessoas de procurar "por" esse diretório em arquivos abaixo dele. r é usado para permitir listar um diretório. t pode ser usado para evitar a exclusão de arquivos em um diretório se um usuário não possuir (ou seja, não criou, normalmente) o arquivo.
Grupos e proprietários definitivamente contam como parte do sistema de permissões. Na verdade, você precisará criar muitos grupos para obter permissões refinadas no unix, a menos que queira usar ACLs. Ou a menos que suas necessidades simplesmente não sejam complexas, é claro. Por exemplo, se o seu arquivo é de propriedade de bob: users, e você precisa adicionar o grupo de funcionários como leitores legítimos, mas não quer permitir acesso a outros, tudo o que você realmente pode fazer é criar um grupo adicional contendo todos funcionários e usuários, e dê a esse grupo a propriedade do arquivo. As ACLs lidam com isso de maneira mais elegante, e eu acho que sistemas como o NFS permitem que grupos contenham outros grupos (o que torna esse tipo de grupo muito mais limpo e fácil de manter).