Para a senha de pesquisa SQL, o dovecot tem documentação adicional aqui . Para obter informações adicionais, você pode ler um tópico sobre SO: Como gerar com segurança hashes SSHA256 ou SSHA512 no PHP? . Nessa resposta, presumo que você use o MySQL para banco de dados.
Para corresponder ao esquema de autenticação dovecot e ao seu esquema de autenticação personalizado, um dos métodos é que a sua consulta deve ser retornada password
field que contém
{SSHA512.HEX}HashofPasswordandSaltinHEXformatSaltinHEXformattoo
Com a manipulação de strings do SQL, podemos construir uma consulta como essa
SELECT CONCAT("{SSHA512.HEX}", 'hex_password', HEX(FROM_BASE64('salt'))) AS password FROM mytable WHERE userid = '%u'
Coloque a consulta acima no parâmetro password_query
no arquivo de configuração dovecot-sql.
Na consulta acima, construímos a sequência de caracteres especial por meio da concat
Parece que a discussão aqui foi feita em esta página com informações mais completas e abrangentes.