User-Agents.org tem uma grande base de dados de agentes / aranhas etc. Parece ser atualizado regularmente (a última atualização foi em 28/02/2009). Os dados estão disponíveis através de RSS / XML.
Estou procurando um banco de dados que seja atualizado regularmente com diferentes bots, spiders e crawlers. Eu quero ser capaz de identificá-los nos arquivos de log do IIS.
User-Agents.org tem uma grande base de dados de agentes / aranhas etc. Parece ser atualizado regularmente (a última atualização foi em 28/02/2009). Os dados estão disponíveis através de RSS / XML.
Tags log-files web-crawler