Não tenho certeza de que o Google use, mas o equilíbrio de carga seria o meu palpite. Não roubar mais ninguém, então aqui está um link para um tópico. Explica isso melhor, então eu posso.
Balanceamento de carga em vários servidores, assim você vê 1 endereço IP, mas a conexão é roteada para um dos muitos servidores (com tolerância a falhas incluída).
Se você não tiver seus servidores da Web usando o mesmo armazenamento (armazenamento comum pode ser complicado, você precisa usar uma SAN com um sistema de arquivos 'compartilhado' como GFS ou um banco de dados), então você deve habilitar sessões o roteador que cada cliente escolherá um servidor para se comunicar pela primeira vez e manter com esse servidor. Isso é menos tolerante a falhas (mas na Web você só precisará atualizar uma conexão quebrada para começar de novo), mas muito mais fácil de arquitetar (e mais rápido, pois cada servidor da Web pode permanecer independente)
O outro problema que você precisa em uma situação verdadeiramente tolerante a falhas é localizar os servidores físicos distantes um do outro, o que gera problemas de desempenho para a maioria dos projetos de compartilhamento (ou seja, não é possível colocar todos os servidores em uma SAN em diferentes países), é usar a abordagem de vários servidores, usando um único nome DNS e replicar os dados entre eles regularmente. O balanceamento de carga de DNS é possivelmente a maneira mais fácil de usar vários servidores da Web como um único site.
Nesses casos, o banco de dados geralmente pode ser um único banco de dados com o qual todos os servidores se comunicam ou podem ser compartilhados, usando cluster ou, mais frequentemente, o envio de log para garantir que você tenha um backup pronto para entrar on-line. O envio de log é mais comum para servidores de backup do que está longe. [1]: link