Você tem o robots.txt?
Se não, então você deve criar um. Você pode ler sobre isso aqui .
Estou executando o Apache 2.2 e meu servidor roda bem. Notei essa anomalia estranha no meu arquivo access.log, como devo evitá-lo? robots.txt parece não estar funcionando.
127.0.0.1 - - [17/Apr/2011:12:17:00 +0100] "GET / HTTP/1.1" 200 3022 "-" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)"
127.0.0.1 - - [17/Apr/2011:12:17:00 +0100] "GET /icons/blank.gif HTTP/1.1" 200 487 "http://localhost/" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)"
127.0.0.1 - - [17/Apr/2011:12:17:00 +0100] "GET /icons/layout.gif HTTP/1.1" 200 616 "http://localhost/" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)"
127.0.0.1 - - [17/Apr/2011:12:17:00 +0100] "GET /icons/folder.gif HTTP/1.1" 200 564 "http://localhost/" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)"
127.0.0.1 - - [17/Apr/2011:12:17:00 +0100] "GET /icons/compressed.gif HTTP/1.1" 200 1379 "http://localhost/" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)"
127.0.0.1 - - [17/Apr/2011:12:17:01 +0100] "GET /icons/image2.gif HTTP/1.1" 200 650 "http://localhost/" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)"
Isso é um ataque de bot ou meu servidor está errado? Como devo corrigi-lo, para evitar que isso aconteça novamente?
Você tem o robots.txt?
Se não, então você deve criar um. Você pode ler sobre isso aqui .
O MSNbot seria o webcrawler que a Microsoft usa para msn / live / bing. Não é "perigoso" normalmente. Ele pegará os arquivos robots.txt e os obedecerá se você tiver um configurado corretamente (veja a resposta de user74596). Pode demorar um dia ou dois antes de pegar o arquivo robots.txt.
Se você quiser que as pessoas encontrem seu site nos mecanismos de pesquisa listados acima, não bloqueie o acesso ao seu site.
Tags security apache-2.2 robots.txt