Com uma configuração válida do AuthnzLDAP, é possível exigir o grupo ldap, assim:
Require ldap-group cn=Administrators, o=Airius
Veja link para referência.
Vale a pena notar que você também pode exigir o ldap-dn, ldap-attribute ou mesmo o ldap-filter. Este último também pode ser usado para exigir um grupo ldap, como este:
Require ldap-filter &(memberof=cn=Administrators,o=Airius)
.. o que é mais útil para gerar requisitos complexos baseados em atributos:
Require ldap-filter &(eduPersonPrimaryAffiliation=*Staff)(objectClass=eduPrincipal)
Obrigado, comentador @ james-yale pela resposta mais relevante.