Você não nos disse qual versão do Windows, mas aqui estão as instruções para o IIS6 no Win2k3
In IIS Manager, right-click the SMTP virtual server, and then click Properties.
Click the Access tab, and under Access control, click Authentication.
Defina as opções apropriadas aqui. Autenticação básica ou integrada ao Windows, dependendo de suas necessidades.
/ Edit: eu vejo. Sim, eu não acho que é completo o suficiente para fazer segurança granular como essa. Restringir por IP funciona para você?