Em algum momento (em 2013, acredito), o pacote postfix alterou a entrada para qmgr de fifo para unix in master.cf (em /etc/postfix em meu sistema). Devido a essa alteração, o atraso foi introduzido. Você provavelmente também tem essa mensagem em seu log de email: KickMessage failed as couldn't write to /var/spool/postfix/public/qmgr
Para corrigir isso, altere a entrada qmgr em master.cf de:
qmgr unix n - n 300 1 qmgr
para
qmgr fifo n - n 300 1 qmgr
e recarregue o postfix.
Graças ao este tópico da lista de verificação de e-mail para fornecer a resposta.