Sim, praticamente - no arquivo de autorização, você infelizmente não pode fazer algo como utilizar um grupo LDAP.
Para sua sanidade, você pode considerar gerar automaticamente o arquivo de autorização por meio de um sistema de modelos de ferramentas de gerenciamento de configuração, dependendo de como você está gerenciando as contas de usuário.