Tente colocar isso no php.ini do Vhost que você deseja restringir:
disable_functions = mail,exec,shell_exec,passthru,system,proc_open,popen
Eu hospedo vários sites ao vivo e vários sites de teste em um servidor que está executando o Ubuntu 14.04. A maioria dos sites são sites wordpress, e estão usando a função php mail () ou a classe PHPMailer para enviar seus e-mails.
O que eu gostaria de fazer é impedir que determinados sites que estão sendo testados enviem e-mails. Talvez até mesmo whitelist os poucos domínios ao vivo para que eles sejam os únicos autorizados a gerar e-mails.
Existe uma maneira rápida de bloquear os domínios autorizados a enviar e-mails?
Os domínios hospedados estão se conectando a um MTA remoto ou local?
Se for local, pode ser configurado para whitelisting, permitindo retransmissão apenas para hosts específicos (que você já deve estar usando para impedir que o servidor de email se torne uma fonte de spam).
Se for remota, basta adicionar uma regra de saída padrão do iptables que bane o acesso à porta remota 25 e insira as fontes permitidas antes dessa regra de negação.