No que diz respeito ao imap não estar escutando em uma determinada porta: este é um serviço completamente diferente. Pode ser servido por cyrus-imapd, dovecot, courrier, também pode envolver algum proxy imap como nginx, ... dependendo da sua configuração, provavelmente há outra coisa para corrigir. Deixe-nos saber.
Agora, com relação ao erro must issue a STARTTLS , de acordo com seu main.cf , temos:
mynetworks = 127.0.0.0/8, [::1]/128
smtpd_client_restrictions = permit_mynetworks permit_sasl_authenticated permit
smtpd_recipient_restrictions = permit_sasl_authenticated
Você provavelmente desejará adicionar permit_mynetworks ao seu smtpd_recipient_restrictions . E também certifique-se de que o seu roundcube está configurado para se conectar em 127.0.0.1 ou indubitavelmente adicione seu endereço IP a mynetworks . O que você definiu como $config['smtp_server'] em roundcube config.php ?