Se você estiver delegando as permissões mínimas necessárias para gerenciar contas de usuário (redefinir senha, ler atributos, gravar atributos e desbloquear contas somente em contas de usuários), elas não poderão fazer nada com os grupos. é um não-problema. O fato de estarem na mesma UO não importa se você delegou as permissões corretamente.
Tentar fazer algo como tornar os usuários incapazes de ler grupos é possível, mas não é a resposta correta para esse problema e provavelmente causará problemas no futuro, já que o padrão nos comporta para que todos os usuários possam ler todos associação ao grupo. Quebrar isso pode ter consequências não intencionais, especialmente com aplicativos de terceiros ou coisas que são LDAP ausentes, mas talvez não sejam reconhecidas pelo AD.