Riscos de segurança?
O principal risco é o exploração . Você será usado como um relay de spam.
Por padrão não há mecanismos para impedir o acesso não autorizado (a menos que você conte o seu firewall)
No improvável caso de um invasor ser especialmente habilidoso, e seu servidor de e-mail estar especialmente vulnerável, alguém pode enviar um vírus de tal forma que ele seja armazenado em algum lugar do servidor antes de ser enviado, infectando seu servidor. Isso é apenas um exemplo que eu inventei no local.
Os retransmissores não autenticados do SMTP, que estão abertos ao público, são constantemente verificados e geralmente são encontrados dentro de 15 a 45 minutos de estar on-line.
Sugestões
Se você for executar uma retransmissão SMTP, certifique-se de que ela exija autenticação.
Você também deve garantir que todas as tentativas repetidas de retransmissão de IPs negados sejam bloqueadas. Deve haver uma configuração de software para isso em qualquer cliente de servidor de e-mail decente.
Se você não quiser pagar por um produto como Microsoft Exchange Server ou IceWarp , então você deve procurar uma solução baseada em Linux usando uma combinação de Postfix e Dovecot, Cyrus ou similar em um SASL configuração.
Existem inúmeros tutoriais na net para isso. Uma boa fonte (que eu gosto) é [aqui]