Meu entendimento é que um arquivo criado pelo usuário: A no grupo: G contará para ambas as cotas. Ou seja, o arquivo é de propriedade do usuário: A, portanto, conta para a cota e o arquivo está no grupo: G, portanto, conta para a cota do grupo.
Como você pode impedir que isso aconteça? Dado que (no RedHat, pelo menos) a cota é atribuída pelo sistema de arquivos, a única maneira de ter apenas cotas de grupo na área do grupo é torná-lo um sistema de arquivos separado. E, de fato, se a área compartilhada tiver apenas um grupo compartilhando, você poderá limitar isso alocando espaço suficiente em vez de ter uma cota de grupo.
Então você gostaria que o / dev / vg1 / lv1 fosse montado como / home e / dev / vg1 / lv2 montado como / home / shared e, em seguida, colocasse cotas de usuário em / dev / vg1 / lv1 ... e colocasse o grupo cotas em / dev / vg1 / lv2 ou apenas crie / dev / vg1 / lv2 de um tamanho que seja correto para a única cota do grupo.
Tenho certeza de que você examinou todas as páginas de manual e documentação de cota ... mas, no caso, esta é a página RedHat que explica as cotas ... link