Você pode modificar as permissões padrão no Active Directory (AD) para acomodar esse requisito, mas não será particularmente fácil ou "limpo". As permissões padrão no AD são, sem dúvida, muito "abertas".
Para realizar o que você está procurando, será necessário ativar o modo de objeto de lista no Active Directory (para limitar a visibilidade do objeto). Você deve usar um grupo (em vez de um "usuário específico") para ser nomeado em permissões para conceder os direitos de ler endereços de e-mail. Eu acho que você terá que fazer algumas experiências para fazer as coisas funcionarem como você quer. (Eu não tenho um arranhão AD por aí agora que estou disposto a usar para lhe dar instruções passo-a-passo.)