Parece que sua instalação do Roundcube não suporta o CRAM-MD5, que é o único mecanismo oferecido pelo Postfix. Eu provavelmente apenas habilitaria os mecanismos PLAIN e LOGIN e os usaria. Você provavelmente tem uma linha como essa em /etc/postfix/main.cf
:
smtpd_sasl_security_options = noanonymous, noplaintext
Altere isso para ler:
smtpd_sasl_security_options = noanonymous