Postfix e Dovecot fazem coisas diferentes.
O postfix é um MTA ou Mail Transfer Agent. Aceita e-mails do mundo exterior e de fontes locais e encaminha-os para o seu destino. Isso pode envolver uma conexão smtp com outra máquina ou pode envolver entregá-la a um agente de entrega local ou gravá-la diretamente em uma mbox. Quando um MTA dá errado, as coisas ficam feias; sua máquina pode ser usada para recuperar grandes quantidades de spam, por exemplo. No entanto, devido ao modo como o nosso sistema de email funciona, um MTA tem que interagir constantemente com fontes de correio legítimas e indesejadas.
O Dovecot é um software de interface de caixa de correio. Especificamente, permite que os usuários acessem suas caixas de correio usando a interface IMAP. Se configurado corretamente, somente interage com usuários autenticados. Isso significa que, em geral, o dovecot não tem que "conversar com os bandidos".
A vista de 50.000 pés: o postfix "conhece" o smtp. Dovecot "conhece" o IMAP.
(Sim, o postfix pode usar o dovecot para executar a autenticação, e o dovecot's lda coloca o email em mboxes, então definitivamente há mais na história.)