Por apenas SMTP eu diria Postfix ou Qmail. Aqueles são bastante leves para começar e podem ser facilmente sintonizados. A natureza modular do Postfix permite que você desative todos os recursos não utilizados e seus processos. Você também pode ajustar o Postfix para aproveitar ao máximo os recursos limitados.
Se você precisar adicionar POP / IMAP, eu acho que o Dovecot é uma boa escolha, pois usa poucos recursos por padrão. Um pouco mais de ajuste pode ser feito.