Os servidores SMTP geralmente não verificam os certificados SSL durante a conexão, mas os usam para criptografar o canal. Isso facilita a configuração com certificados autoassinados ou certificados de uma autoridade privada. (Certificados autoassinados são equivalentes a certificados ssh.) Eu uso o tinyCA para criar minha própria autoridade de certificação. Você pode usar tamanhos de chave de até 4096. Você deve usar um tamanho de pelo menos 2048.
MUAs (Agentes do Usuário de E-mail: Firefox, Outlook, etc) funcionam bem com certificados auto-assinados. Você precisa acertá-los pela primeira vez. Sugiro usar a porta de envio com startTLS e autenticação. Isso lhe dará um canal autenticado seguro.
Eu uso o Dovecot IMAP com startTLS usando certificados autoassinados para ler e-mails. O uso do IMAP fornece opções extras, como o uso de uma interface WebMail, além de um ou mais clientes.