Por favor, indique AD diretamente na OU onde você armazena o contato (você pode alterar a UO do usuário padrão), deligue os Administradores de Destinatários do Exchange diretamente no Exchange para gerenciar esses contatos e instale o console do Exchange no computador do usuário.
O fato de você delejar na UO correta garante que o usuário só possa gerenciar o contato, já que ela precisará criá-lo nessa UO. (mesmo com o direito do Exchange, o usuário só pode alterar o usuário que ela conseguiu acesso também no AD)
Eu não respondo do ponto de vista do outro lado, como ela não pode, pois é armazenado em seu anúncio. (assim você tem que delegar todo o direito que eu contei) Como quando você cria um contato, você precisa selecionar uma UO para ele, o Outlook não pode ser usado dessa maneira.