cadeias de consulta ímpares nos pedidos do Googlebot

Question

O bot de indexação do Google (edição: sim, é o Google, o IP resolve) parece estar adicionando strings de consulta arbitrárias à nossa página inicial.

xx.xxx.xx.xxx - - [30/Jun/2009:10:14:37 -0400] "GET /?key=61680 HTTP/1.1" 200 3334 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
xx.xxx.xx.xxx - - [30/Jun/2009:10:16:58 -0400] "GET /?term=byron HTTP/1.1" 200 3184 "-" "DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)"

Alguma ideia do que isso significa?

    

Answer 1

Parece que o Googlebot pode investigar levemente seu site em busca de possíveis problemas de duplicação de conteúdo. Ou para ver se o seu site lida corretamente com arquivos inexistentes (retornando um cabeçalho de resposta 404) e / ou strings de consulta falsas.

Ele também pode estar testando para ver se você for algum tipo do link farm se solicitações de consulta falsas fornecerem algum tipo de resultado diferente.

Também é possível que alguém tenha ligado a seu site usando esses parâmetros de string de consulta e o Googlebot esteja voltando para você para ver o que é tudo isso. Se for esse o caso, tente descobrir quem está ligando para você dessa maneira e veja se você não consegue corrigi-los.

    

Answer 2

Eles são encontrados junto com outras entradas do Googlebot? Caso contrário, o Googlebot está verificando links de outro site para o seu para verificar a conexão com seus algoritmos. Isso significa que outro website possui links para seu website com esses URLs. Não sei se domínios de spam ou link podem fazer algo com esses URLs ou não.

Como não entendo necessariamente tudo que o Googlebot faz, posso estar errado, claro.

    

Answer 3

Nos últimos dias, o Googlebot faz o mesmo com um de nossos sites. Parece que está inserindo um valor de querystring que corresponde a uma chave que usamos, mas espera um número inteiro em que o Googlebot esteja fornecendo uma string. (por exemplo, o parâmetro deve ser algo como gb = 22, mas o Googlebot está procurando por gb = lkcvvzxxz)

O pior é que o Googlebot está indexando esses URLs ruins no Google.

Eu adoraria ver essa pergunta respondida. Eu sei que isso deveria ter sido um comentário, mas não tenho os pontos para fazer isso no severfault ainda ...