Tanto o Postfix quanto o Dovecot usam o par Certificate-Key que possui o mesmo formato com o par Apache Certificate-Key. Por causa disso, você pode roubar a solução de uso deste segmento: Convertendo um keystore Java em formato PEM .
Converta o formato pkcs12
keytool -importkeystore -srckeystore foo.jks \
-destkeystore foo.p12 \
-srcstoretype jks \
-deststoretype pkcs12
Para extrair o certificado:
openssl pkcs12 -in foo.p12 -clcerts -nokeys -out servercert.pem
Para extrair a chave privada:
umask 0077
openssl pkcs12 -in foo.p12 -nocerts -nodes -out serverkey.pem
umask 0022
O último passo é configurar o postfix / dovecot para usar esse par. Há toneladas de tutorial na internet para configurá-lo.
Parâmetro principal do postfix
# Server side TLS
smtpd_use_tls = yes
# private key file
smtpd_tls_key_file = /path/to/serverkey.pem
# key you generated at cacert.org
smtpd_tls_cert_file = /path/to/servercert.pem
Parâmetro principal para dovecot
ssl = yes
# Preferred permissions: root:root 0444
ssl_cert = </path/to/servercert.pem
# Preferred permissions: root:root 0400
ssl_key = </path/to/serverkey.pem