O problema prático é que nem todo servidor compatível com SMTP (o RFC é bem antigo) pode falar TLS com o seu servidor, então você pode deixar de receber algumas mensagens de e-mail.
O problema filosófico com isso é que é impossível dizer como o e-mail é retransmitido depois (ou antes) de chegar ao seu servidor.
Isso significa que o email já pode ter sido transmitido em texto simples por meio de uma retransmissão.
Qualquer um que tenha interesse em proteger o conteúdo do e-mail deve criptografar o corpo. Com encriptação em rota, é sempre plausível que já tenha sido transmitido em texto simples.
Portanto, para responder à sua pergunta, a imposição de criptografia na camada SMTP provavelmente é inútil, aumenta suas chances de perder e-mails e não há retorno benéfico garantido.
Editar: refere-se à imposição de SMTP para fins de retransmissão, não envio de e-mail. Em envios de mensagens, a criptografia deve ser imposta, pois a conversa SMTP (não o email real) possivelmente contém credenciais de autenticação.