O IIS 7.x não suporta os formulários auth e windows auth ao mesmo tempo. Meio estranho, eu sei.
Que tal ativar a autenticação de formulários para todo o site, incluindo áreas públicas? Você poderia dar uma página de login diferente explicando por que eles precisam entrar em tudo.
Ou, usando o URL Rewrite, você pode ter uma lista de endereços IP aprovados e permitir somente a entrada se for de um IP válido.