Então eu consegui encontrar a resposta. Ter o IP definido no escopo do conector de recebimento e 'Usuários anônimos' selecionados em segurança não foi suficiente. Ele precisava da permissão 'MS-Exch-SMTP-Accept-Any-Recipient', que é adicionada via shell assim ...
Get-ReceiveConnector "IntSMTPRelay" | Add-ADPermission -User 'NT AUTHORITY\Anonymous Logon' -ExtendedRights MS-Exch-SMTP-Accept-Any-Recipient