Existe uma maneira de não permitir que robôs rastreiem através do IIS Management Console para todo o site

Question

Posso fazer o mesmo que o robots.txt através das configurações do IIS? Dizendo

User-agent: * Disallow: / 

no cabeçalho do host ou através do web.config?

    

Answer 1

Não, isso não é um caminho especificado. Tenha o robots.txt ou o HTML-Meta-Tag como descrito no link

Existem apenas estas duas opções disponíveis.

    

Answer 2

Você pode usar um único arquivo robots.txt armazenado em algum lugar em seu servidor da Web e redirecionar todas as solicitações para qualquer site hospedado em seu servidor IIS para o arquivo robots.txt. Isso seria uma alteração por site no IIS, mas você pode fazer isso programaticamente com o PowerShell.