Em continuação da pergunta Quantos Grupos Unix podem um usuário ser um membro? : de alguma forma eu posso mudar esse limite?
Como observado em meu comentário, a única maneira conhecida é alterar o código do kernel.
Você encontra o limite dentro de limits.h .
Como houve algumas atualizações no kernel, pode ser possível diminuir esse limite com algum arquivo de configuração, por exemplo, com a ajuda do PAM.
No Solaris, ele pode ser alterado em /etc/system (ou /etc/system.d/<somefile> na versão 11.2 ou posterior)
set ngroups_max = <number>
Onde o número está entre 16 e 1024; uma reinicialização é necessária se for alterada.
Tags linux user-accounts unix