O postfix usa SASL para autenticação e pode ter a biblioteca Cyrus SASL ou o Dovecot como backends. Nem tem uma API REST, mas se você é habilidoso com uma linguagem de script, você pode escrever um daemon que fala o protocolo de autenticação Dovecot para o Postfix, e consulta seu aplicativo PHP para senhas.
Como alternativa, o Cyrus SASL tem um plugin SQL. Você pode tentar modificar este plug-in para conversar com seu aplicativo.