Como posso configurar um balanceador de carga para direcionar todo o tráfego do Search Engine Bot para um servidor?

1

Temos um balanceador de carga simples configurado no Rackspace para 3 nós de servidor da web. Depois de analisar nosso tráfego e despesas, o maior consumidor de largura de banda é o Google Bot. Como na Rackspace pagamos pela largura de banda pelo byte, gostaríamos de direcionar todo o tráfego do GoogleBot para outro host (MediaTemple) com largura de banda ilimitada.

Achamos que isso cortaria nossa conta de hospedagem vários milhares de dólares por mês.

Isso é possível? Aconselhável?

    
por Ryan 13.11.2012 / 16:41

1 resposta

0

É possível, mas complicará sua infraestrutura e você precisará de um balanceador de carga global hospedado em algum lugar (talvez da AWS) na frente do rackspace. Além disso, você precisa ter cuidado aqui, se o Googlebot detectar que não é seu site ativo, isso pode prejudicar sua classificação.

Outras opções, limitam o googlebot enquanto suas classificações de monitoramento ou conversas com a Rackspace vêem o que podem oferecer. Em geral, na minha experiência, eles têm algumas pessoas excelentes que podem aconselhar aqui (dentro e fora do registro).

Pense que a melhor opção é identificar o conteúdo da página que o Google está rastreando e armazenar em cache um CDN, a largura de banda será descarregada em outro lugar (deve ser mais barata) e como bônus você também obtém uma solução mais escalável.

    
por 14.11.2012 / 09:15