Ok, tenho um problema estranho. Nosso site é rastreado pelo google muito. Existem algumas razões para isso, que não são realmente fáceis de mudar. Um dos quais sendo você pode acessar versões localizadas do nosso site através ita.example.com (italiano) e fra.example.com (francês) Fazemos redirecionamentos 301 se não estiver logado, e o conteúdo não será localizado (pense em postagens no fórum) mas isso ainda causa uma grande quantidade de rastreamento devido ao Google pensar que nossos 50 subdomínios são todos sites diferentes (não é a melhor idéia, mas antes do tempo e não é facilmente alterável)
Eu não quero aumentar o limite de taxa do google, o que sei que posso fazer nas ferramentas para webmasters ou no arquivo robots.txt
No entanto, as postagens do fórum com 7 anos de idade não são realmente alteradas e não precisam ser rastreadas diariamente para 6 dos subdomínios.
Agora eu sei que poderia definir um "expira" na página, mas isso impediria que ele aparecesse nos resultados de pesquisa do Google, e eu poderia bloqueá-lo com uma meta tag, mas isso faria a mesma coisa.
Existe alguma maneira que eu possa especificar para o google "Esta é uma página antiga, não rastreá-lo mais de uma vez por ano" ou algo assim?
Se não houver uma maneira de fazer isso, existe alguma maneira de colocar um limite de taxa em certos diretórios?
sitemap.xml arquivos ( link ) incluem um elemento <changefreq> que indica com que frequência um mecanismo de pesquisa deve verificar isso para atualizações. Criar um sitemap e defini-lo como mensal, anual ou nunca para esses URLs deve reduzir a frequência com que o Google rastreia esses URLs.
Você pode instalar a meta tag nofollow
< NOME META="ROBOTS" CONTENT="NOINDEX, NOFOLLOW" >