Você precisará ter um MTA (Message Transfer Agent) de algum tipo no Windows Server, bem como todas as portas pertinentes abertas e encaminhadas para o servidor. Um registro DNS reverso também seria muito útil. O Windows Server 2003 tem um mecanismo de SMTP que você pode instalar nele, mas tenha cuidado ou você seja pwnz0rd 6 maneiras do domingo em 2 segundos apartamento.
Confira esta comparação de servidores de e-mail , encontre um para Windows ( Kerio é super e muito barato) e se deparar com a documentação. Sair nos fóruns para esse programa de servidor de e-mail, ler, perguntar e aprender. Essa é a melhor maneira de aprender. Para citar a Nike, "Just do it"