Comece verificando se o SSL CERT está em ordem, instalado no local correto e se possui o proprietário e o modo de arquivo corretos. 644 para o certificado e 600 para a chave privada
Em seguida, teste-o manualmente usando: openssl s_client -connect mailserver.example.com:993 -crlf
Você deve ver os certificados em texto não criptografado e uma linha no final: * OK [CAPABILITY IMAP4rev1 LITERAL+ SASL-IR LOGIN-REFERRALS ID ENABLE IDLE AUTH=PLAIN AUTH=LOGIN] Dovecot ready.
Então você sabe que o sistema está pronto para aceitar o comando AUTH.
Editar
/etc/dovecot/dovecot.conf: verifique as configurações de ssl_ca, ssl_cert and ssl_key