O que o arxiv.org anti-bot “busca e destruição” realmente faz?

Question

O serviço de pré-impressão de matemática e científico lanl.arxiv.org (anteriormente conhecido como xxx.lanl.gov ) tem uma política rígida contra bots que ignoram seus robôs robots.txt , Cuidado . Nessa página, você tem um link com o rótulo "Clique aqui para iniciar o 'buscar e destruir' automatizado contra o seu site", que é proibido pelos seus robots.txt mas supostamente robôs mal comportados o seguirão e colherão as conseqüências. A questão, quais são as consequências reais? Eu nunca tive coragem de clicar nesse link para ver o que ele faz. O que eles podem estar fazendo que é eficaz e legal?

    

Answer 1

[reverse DNS result]: you've been identified as a robot operating in violation of the guidelines posted at arxiv.org.

If this determination is in error, please report to [email protected] so your problem can be investigated.

Scanning, Initialized:

10 minutes to Trinity...
9 minutes to Trinity...
8 minutes to Trinity...
7 minutes to Trinity...
6 minutes to Trinity...
5 minutes to Trinity...
4 minutes to Trinity...
3 minutes to Trinity...
2 minutes to Trinity...
1 minute to Trinity...

Ground zero. Have a nice day.

Contact

Então ... é uma página que desperdiçaria 10 minutos de um tempo muito de bot ingenuidade. Provavelmente inútil para combater robôs maliciosos, mas pode economizar alguma largura de banda quando confrontado com um site-scraper mal escrito.

    

Answer 2

Sem consequências além de girar um pouco. A maioria dos navegadores (e provavelmente o servidor deles) apenas esgotam o tempo limite após um pouco. Eles provavelmente causam mais danos a si mesmos do que os bots.