Atualizei meu arquivo robots.txt em um novo site. O Google Webmaster Tools informa que leu o meu robots.txt 10 minutos antes da minha última atualização.
Existe alguma maneira de incentivar o Google a reler meu robots.txt o mais rápido possível?
UPDATE: sob configuração do site | Acesso de esteira rolante | Teste o robots.txt:
Home Page Access shows:
Googlebot is blocked from http://my.example.com/
FYI: o robots.txt que o Google leu pela última vez é assim:
User-agent: *
Allow: /<a page>
Allow: /<a folder>
Disallow: /
Eu já atirei no pé ou vou ler: http: ///robots.txt (como na última vez que leu)?
Alguma idéia do que eu preciso fazer?
Caso alguém encontre esse problema, há uma maneira de forçar o google-bot a baixar novamente o arquivo robots.txt.
Ir para saúde - > Buscar como o Google [1] e buscá-lo /robots.txt
Isso fará o download do arquivo novamente e o Google também analisará novamente o arquivo.
[1] na interface do usuário anterior do Google, era "Diagnóstico - > Buscar como o GoogleBot '.
Eu sei que isso é muito antigo, mas ... Se você fez o upload do robots.txt errado (não permitindo todas as páginas), tente o seguinte:
Enquanto o google tenta ler o xml sitemap, ele verifica novamente o robots.txt, forçando o google a reler seu robots.txt.
OK. Veja o que eu fiz e, em poucas horas, o Google releu meus arquivos robots.txt.
Temos dois sites para cada um dos sites que geramos. Vamos chamá-los de site canônico (www.mysite.com) e o site de domínio nu (mysite.com).
Nós temos nossos sites configurados para que mysite.com sempre retorne um redirecionamento 301 para o www.mysite.com.
Depois que eu configuro os dois sites nas ferramentas do Google para webmasters, informamos que o www.mysite.com é o site canônico, logo após ler o arquivo robots.txt no site canônico.
Eu realmente não sei porque, mas foi o que aconteceu.
Encurte o intervalo de verificação do google por alguns dias.
Além disso, eu vi lá para verificar o seu robots.txt, isso pode forçá-lo a google, mas não tenho certeza.