Por que não apenas usar SSL ao se comunicar com o servidor de email (tanto para enviar email via SMTP quanto para recuperar email usando POP ou IMAP)? Parece que isso provavelmente atenderia às suas necessidades. Entre os clientes e o servidor de email, toda a comunicação seria criptografada. O servidor de e-mail encaminharia o e-mail para o seu destino por conexões SMTP não criptografadas, mas a partir de sua pergunta, parece que isso seria correto.