Na verdade, isso não é explicitamente definido em lugar algum, e o fato de o servidor ser ou não "confiável" depende do cliente (que poderia, é claro, ser outro servidor de correio) se conectar a ele; citando o RFC relevante ( RFC 2487 ):
If the SMTP client decides that the level of authentication or
privacy is not high enough for it to continue, it SHOULD issue an
SMTP QUIT command immediately after the TLS negotiation is complete.
If the SMTP server decides that the level of authentication or
privacy is not high enough for it to continue, it SHOULD reply to
every SMTP command from the client (other than a QUIT command) with
the 554 reply code (with a possible text string such as "Command
refused due to lack of security").The decision of whether or not to believe the authenticity of the
other party in a TLS negotiation is a local matter. However, some
general rules for the decisions are:- A SMTP client would probably only want to authenticate an SMTP server whose server certificate has a domain name that is the domain name that the client thought it was connecting to.
O que isso basicamente significa é que, quando o servidor oferece criptografia TLS usando um determinado certificado, a decisão de aceitá-lo ou recusá-lo depende inteiramente da outra parte, que <<> provavelmente quer o nome no certificado para ser o mesmo que se conectou, mas poderia muito bem aceitá-lo, mesmo que não seja compatível.
Mas espere, tem mais. Citando novamente a partir do mesmo RFC:
Upon completion of the TLS handshake, the SMTP protocol is reset to
the initial state (the state in SMTP after a server issues a 220
service ready greeting). The server MUST discard any knowledge
obtained from the client, such as the argument to the EHLO command,
which was not obtained from the TLS negotiation itself. The client
MUST discard any knowledge obtained from the server, such as the list
of SMTP service extensions, which was not obtained from the TLS
negotiation itself. The client SHOULD send an EHLO command as the
first command after a successful TLS negotiation.
Então, o que o servidor está dizendo em resposta a HELO / EHLO antes que o handshake TLS não parece realmente ter importância.
Na minha experiência, os certificados auto-assinados funcionam muito bem em servidores de e-mail voltados para a Internet, o que significa que os outros servidores de e-mail não se importam em validá-los. que pode fornecer criptografia TLS, independentemente da autoridade de emissão ou do nome da entidade.