É muito possível criar um tráfego alto estável e um sistema de e-mail altamente disponível usando as ferramentas usuais de código aberto.
Minha escolha preferida é (mas não significa que isso seja definitivo):
Com relação à redundância, é muito fácil torná-la redundante, já que o smtp vem com redundância embutida. O único desafio pode ser o (s) servidor (es) imap. Como o imap é mais ou menos um sistema de arquivos de rede especializado, ele apresenta seus próprios desafios para torná-lo redundante (ou failover). É claro que se você usar o pop3, você transfere essa responsabilidade principalmente para o cliente ...
Na minha experiência, o software acima é extremamente estável e versátil e tem bom desempenho. Sinta-se à vontade para construir qualquer camada voltada para o cliente, soluções pré-fabricadas (de código aberto) também estão disponíveis para isso.
Sobre como configurá-lo e todos os detalhes técnicos que provavelmente estão fora do escopo desta questão.