Se você estiver usando ferramentas de gerenciamento do IIS para manutenção, parece que ele já pode ter suas próprias configurações, o que presumivelmente substitui - se você não o tiver configurado no local apropriado:
Temos um robots.txt personalizado na raiz do nosso site do Azure do serviço de nuvem do IIS que não é exibido corretamente quando você navega para www.oursite.com/robots.txt. Um arquivo robots.txt "diferente" é exibido contendo:
User-agent: LinkChecker
Allow: /
User-agent: *
Disallow: /
Nós tentamos:
1. Excluindo o arquivo robots.txt na raiz - o arquivo robots.txt incorreto ainda é exibido.
2. Adicione regra de regravação de URL ao web.config para exibir o robots.txt personalizado - o robots.txt correto será exibido por algum tempo e, em seguida, reverta para outro
Alguma ideia do que está acontecendo em nosso robots.txt personalizado?
Se você estiver usando ferramentas de gerenciamento do IIS para manutenção, parece que ele já pode ter suas próprias configurações, o que presumivelmente substitui - se você não o tiver configurado no local apropriado:
Tags azure iis robots.txt