Estes documentos são instruções passo a passo para configurar o email no IIS7. Não, você não deveria precisar (ou francamente) instalar o Hmailserver (por que você precisaria quando você pode enviar e-mails diretamente de qualquer sistema Windows, mesmo sem um relay instalado?).
Um pequeno detalhe faltando é garantir que você vá para propriedades do servidor SMTP, Clique na guia Acesso e Relay, adicione uma entrada para 127.0.0.1
Para testar
você pode enviar manualmente um e-mail da máquina (telnet para a porta 25 da máquina, etc ...) ou usar um script como este (powershell)
$emailFrom = "[email protected]"
$emailTo = "[email protected]"
$subject = "your subject"
$body = "your body"
$smtpServer = "Localhost"
$smtp = new-object Net.Mail.SmtpClient($smtpServer)
$smtp.Send($emailFrom, $emailTo, $subject, $body)