Tanto quanto eu posso ver, você só quer enviar e-mails. Nesse caso, você não deve definir um registro MX para o servidor, pois o seu servidor de e-mail não é responsável por nenhum domínio.
Se eu entendi seu problema, você realmente quer apenas um MTA que retransmita seus e-mails.
Configurar um servidor de correio completo para esse propósito é um exagero; Então, primeiro aqui estão algumas alternativas: link
Se você quiser ter um servidor de e-mail real, o postfix seria preferível: link
No entanto, seu problema de DNS provavelmente é independente disso.
É claro que é desejável que todos os IPs e nomes de host usados em seu servidor possam ser resolvidos. Para conseguir isso, você precisaria de um servidor de nomes local para seus endereços locais (e nomes) que encaminha quaisquer outras solicitações para algum outro servidor de nomes.
Mas pode haver uma maneira mais fácil: as pesquisas de DNS que o servidor de email executa devem depender dos domínios remetente e destinatário dos emails. Você deve verificar, se eles estão corretos e limitar-se apenas aos nomes, que podem ser resolvidos. Talvez você tenha configurado o endereço De para apontar para algum domínio definido localmente?
Para depurar isso, você pode tentar enviar e-mails a partir da linha de comando primeiro e passar para o PHP-mailer assim que ele funcionar.
Um email de exemplo da fila seria útil para verificar isso.
E você poderia por favor postar a saída de netstat -natp ? Apenas para ver a que endereços IP o sendmail está vinculado.
Eu sei que esta resposta não está completa, mas isso é o máximo que posso dizer neste momento.