"memberOf" pelo menos no AD é armazenado como lista de distinguishedNames.
você pode querer tentar isso:
(&(objectCategory=user)(memberOf=cn=MyCustomGroup,ou=Groups,dc=one,dc=two,dc=three,dc=com))
Além disso, convém certificar-se de que seu DN de ligação tenha direitos para emitir consultas de leitura em relação a todo o Diretório, já que a maioria do AD só pode emitir consultas no DN do seu link.