O GoogleBot respeita o User-agent: *

1

Eu bloqueei uma página no robots.txt em User-agent: * e tentei remover manualmente esse URL do cache do Google nas ferramentas dos webmasters. O Google disse que não estava sendo bloqueado no meu robots.txt, então eu o bloqueei especificamente sob User-agent: GoogleBot e tentei removê-lo novamente e desta vez funcionou. Isso significa que o Google não respeita o User-agent: * ou o quê?

    
por user40696 25.04.2010 / 04:44

3 respostas

1

O GoogleBot deve seguir as regras de User-agent: * , mas não atualizará o cache até que o GoogleBot rastreie seu site novamente, o que leva algum tempo. O Google não divulga o tempo mínimo exato entre os rastreamentos, mas especulamos que sejam cerca de 15 a 30 minutos.

    
por 25.04.2010 / 05:21
0

Os links recebidos também farão com que o URL seja indexado pelo google. Não teria um índice do conteúdo real

    
por 25.04.2010 / 07:09
0

Se as ferramentas do Google para webmasters dissessem que não estavam sendo bloqueadas pelo robots.txt, eu diria que você deve ter um erro no arquivo robots.txt. O Google definitivamente honra o User-Agent, então alguma outra coisa deve estar errada. Você pode verificar o robots.txt detalhadamente nas páginas de ajuda nas Ferramentas do Google para webmasters.

A remoção do índice demora de 24 a 48 horas na minha experiência, embora eu tenha visto isso acontecer em apenas 5 horas.

    
por 25.04.2010 / 15:01