Correndo o risco de receber uma votação negativa por não responder à sua pergunta:
-
Você pode diminuir o Googlebot usando uma configuração nas Ferramentas do Google para webmasters.
-
A maioria dos principais rastreadores oferece suporte à diretiva Crawl-delay no robots.txt para atrasá-los. O bot do Yahoo pode ser particularmente agressivo.
-
Proiba os gostos do Baidu completamente no robots.txt. Eles não estão te fazendo bem.
-
Pense em bots agressivos como ataques DOS e limite a frequência de solicitações de cada IP usando o IPTABLES ou o plugin mod_security para o Apache.