Nenhum de seus MTAs básicos suportará POP3 ou IMAP. Todos os MTAs clássicos suportam apenas SMTP. No entanto, complementos estão disponíveis para esses protocolos.
Sob o Debian eu sempre recomendaria o exim. É o MTA padrão, tem um bom suporte para verificação de vírus (com Clam AV), filtragem de spam (spamassassin) e greylisting. Por padrão, isso será enviado para um smarthost ou para caixas de correio locais.
Você pode então instalar soluções para POP3 (eu recomendo qpopper, mas existem muitas alternativas, por exemplo, teapop3) e IMAP (eu recomendo courier-imap). Você também pode usar um conjunto inteiro baseado no correio.
Em termos de automatizar a configuração da conta via PHP, dê uma olhada no vexim. Esse é um pacote que fornece uma interface da Web simples de usar para administração exim.
Agora aqui está minha palavra final: se você está fazendo isso para aprender sobre vários MTAs e aspectos relacionados, então vá em frente e faça. Se você está fazendo isso para alguns usuários e uma solução de e-mail real, eu recomendo que você vá e obtenha algumas contas com um provedor de e-mail comercial. Eu ouvi coisas muito boas sobre o gmail, mas elas não são as únicas. A administração de um servidor de e-mail ativo não é algo que você faz uma vez e depois desaparece. É um trabalho do dia-a-dia, requer muito conhecimento e dedicação, e se você errar um pouquinho, os hackers estarão em cima de você.