Um "Serviço Indisponível" como um DSN 5 é quase sempre devido a um aviso DSN expandido. Veja o seguinte, por exemplo:
220 banner-something-something
EHLO mailer.example.com
250-banner response
250-ENHANCEDSTATUSCODES
250-PIPELINING
250-8BITMIME
250-STARTTLS
MAIL FROM: [email protected]
250 2.1.0 Sender ok
RCPT TO: [email protected]
250 2.1.5 Recipient ok
DATA
550-5.7.1 [10.10.10.10] Mail from this IP has been blacklisted due to user
550-5.7.1 complaints. Please visit our website to get de-listed
554 5.0.0 Service unavailable
Neste ponto, é responsabilidade do cliente de envio fazer algo com o DSN. Qualquer coisa que suporte os DSNs expandidos criará um bounceback que inclui todas as 550 linhas. Qualquer coisa que não o suporte (e muitos registros em alguns servidores) mostrará apenas a linha 554.
Esta linha mostra a rejeição (r82C8JtA005525) sendo gerada:
Sep 2 17:38:19 mail sm-mta[5525]: r82C8CtA005523: r82C8JtA005525: DSN: Service unavailable
Uma coisa que eu verificaria de improviso seria para ver se o HELO é o mesmo no sm-mta que o sendmail base. Nesse ponto, a instância do sendmail pensará que há um loop de e-mail e rejeitará a mensagem.
Exceto isso, verifique a devolução ou obtenha uma captura de pacotes e execute-a através do wireshark para ver exatamente o que está sendo passado para frente e para trás.