is it possible to rent a server and use it as a Mail Server
Definitivamente, esta é a solução que minha empresa implementa. Se você não está muito preocupado com o tempo que leva para abrir uma conexão SMTP, você pode usar qualquer conta gratuita (gmail) para enviar seus e-mails também - você ainda precisará da configuração de DNS, e ela será lenta, mas você terá o e-mail enviado como se fosse despachado da própria conta.
Eu respondi recentemente a alguns desses pontos. Em resumo, para configuração e prevenção de tags "spam":
- Você pode conferir listas negras aqui
- Seu servidor deve ter MX e registros DNS reversos
- Você deve sempre ter registros DNS SPF (muitos servidores rejeitar e-mail sem um SPF válido, GMail por exemplo, aqui está uma explicação e um assistente )
- Para configuração geral, a resposta HELO do seu servidor de e-mail deve corresponder ao seu nome de host
- Seu servidor de e-mail não é um retransmissor aberto - ele deve ser um relé "fechado" dedicado ao seu servidor - veja como aqui
- Por fim, certifique-se de que seus registros de DNS 'TTL não sejam muito baixos - 86400 ( 24 horas) é recomendado (alguns spammers definem seu TTL muito baixo para atualizar regularmente os registros DNS forjados)
Any suggestions for other Mail Server software instead of Postfix?
Não, a menos que você use um servidor SMTP remoto do seu código, e isso é lento. O Qmail é a única alternativa real do Linux: é lento, incômodo e irregularmente atualizado. Eu não recomendaria isso.
Another problem is Reverse DNS for this server. Should PTR entry be present if a server is used as a relayhost?
Acredito que os registros DNS (incluindo registros reversos) são sempre necessários: há muitos provedores diferentes que verificam parâmetros ligeiramente variáveis, portanto, verifique sua configuração em todos os principais provedores (se possível!)