Um robô de raspagem pode habilitar o JavaScript?

1

Tenho alguns milhares de pedidos que parecem vir de um cliente com JavaScript ativado e estou pensando se esse cliente pode ser um bot.

    
por Emanuil Rusev 01.09.2011 / 16:09

1 resposta

2

Sim - um bot pode fazer o que quiser com os recursos que está reunindo, o que certamente poderia incluir a interpretação de javascript.

Veja, por exemplo, a nova exibição de miniaturas de páginas do Google nos resultados de pesquisa; muitos sites confiam no javascript para a funcionalidade básica de exibição, portanto, a interpretação de js seria uma obrigação para que se apresentassem pré-visualizações próximas da precisão.

A maneira mais fácil de saber é apenas verificar a string user-agent; bots bem comportados apenas lhe dirão o que são.

    
por 01.09.2011 / 16:34