Infelizmente, como o Postfix segue o modelo orientado pelo processo, o alto uso de memória sob carga é um dos seus efeitos colaterais. Você poderia tentar isso
De /etc/postfix/master.cf
# ==========================================================================
# service type private unpriv chroot wakeup maxproc command + args
# (yes) (yes) (yes) (never) (100)
# ==========================================================================
smtp inet n - n - 5 smtpd
Na coluna maxproc , você pode substituir o - por um número menor para limitar o número de processos simultâneos de smtpd , isso deve fornecer um pouco da quantidade de mensagens recebidas.
Outra alternativa seria ver fail2ban , que pode ser configurado para analisar /var/log/maillog e aumentar blocos iptables para endereços que enviam uma grande quantidade de e-mails não entregues.