Não, um servidor que permite retransmitir sem um nome de usuário e senha não é necessariamente um retransmissor aberto. Você pode usar as restrições de endereço IP do remetente para manter os recursos de retransmissão sob controle.
Você receberá qualquer número de recomendações para os MTAs instalarem; Eu gosto do Postfix, eu mesmo, que está disponível pré-empacotado em todas as distribuições Linux que vi, e é bastante simples configurá-lo para retransmitir ou não, como você gosta (veja o parâmetro de configuração mynetworks
).