Tenho um VPS Core de 1 GB de RAM e 1 CPU com o Postfix + Dovecot + rspamd (é um nível clássico OVH VPS 1), e eu não até uso 25% da quantidade total de RAM que tenho.
O postfix é realmente muito leve. No momento, ele está usando menos de 7 megabytes de RAM em todos os seus processos.
Para a filtragem de spam, eu recomendo spamassassin ou rspamd. O Rspamd é um IMHO mais leve, mas requer alguns ajustes para que ele funcione corretamente (ele não adiciona cabeçalhos de e-mail extras por padrão - é necessário configurá-lo para fazer isso para que você possa filtrar as mensagens com uma regra de peneira).
O Spamassassin é ótimo também, mas eu achei que era um monte de recursos.
Ouvi dizer que o ClamAV é bastante pesado, mas não tenho experiência pessoal lá.
Roundcube é bom, mas você também pode querer dar uma olhada em Rainloop , embora possa ser apenas para uso pessoal.
A integração com o banco de dados não é realmente necessária para instalações pequenas, eu não acho. Se você quiser mantê-lo leve, você definitivamente quer evitar um banco de dados como o MySQL.
Se você precisar de um tutorial, A Ars Technica tem uma ótima série de 4 partes sobre como configurar seu próprio servidor de e-mail .