Não está seguindo os RFCs para a negociação de protocolo. Talvez ele esteja tentando usar comandos ESMTP sem usar EHLO ou algo assim.
Uma das melhores maneiras de descobrir o que está tentando fazer é ativar o log de nível de protocolo para o conector que está gerando o erro 500. Em seguida, tente novamente a conexão e, se ela gerar o erro, procure nos arquivos de log (ou poste-os aqui) para ver o que está tentando fazer. Porque o que quer que esteja fazendo, o Exchange não gosta e isso significa que seu servidor está se comportando o suficiente do comportamento normal dos servidores de email para ser muito especial.
Você pode ativar o registro em nível de protocolo:
Set-ReceiveConnector "MyTrusted connector (Servername)" -ProtocolLogging Verbose
Por padrão, ele coloca os arquivos em C:\Program Files\Microsoft\Exchange Server\V14\TransportRoles\Logs\ProtocolLog\SmtpReceive
(ou qualquer unidade em que você tenha instalado o Exchange). Ele lhe dará a conversa SMTP completa que está tentando, e sua falha deve ser bem óbvia (ou será para nós).