Não "segmente" as aranhas.
Tentar "segmentar" as aranhas da WWW está lutando contra os donos de aranhas da WWW, que querem, na medida do possível, que suas aranhas vejam o que todo mundo vê. Desça esse caminho e você se encontrará em uma corrida armamentista constante com os donos de aranhas.
Verifique o design do seu site.
O tráfego alto de aranhas às vezes é sintomático do mau design do site. Por exemplo: os hiperlinks cujos URLs contêm IDs de sessão farão com que os spiders vejam e rastreiem uma única página várias vezes. Verifique seus logs do servidor HTTP de conteúdo para o que o tráfego de aranha realmente é . Se as coisas estão sendo rastreadas repetidamente, variando apenas por coisas como IDs de sessão, ajuste seu site para não ter esse problema. Consulte diretrizes técnicas do Google para obter mais erros neste sentido para verificar e corrigir.
Use as ferramentas fornecidas a você como um recurso final.
O Google fornece um botão de ajuste para sua taxa de rastreamento em suas Ferramentas do Google para webmasters Se você verificou se seu site segue as diretrizes técnicas e o design do site não é a causa raiz do alto tráfego de rastreamento, use as Ferramentas do Google para webmasters. Mas observe que, se você continuar tendo que fazer isso a cada 90 dias para manter a taxa de rastreamento baixa no conteúdo estático, provavelmente há algo errado com o design do seu site que você não encontrou nem corrigiu.