O seu entendimento de que todos eles se conectam ao mesmo servidor está errado, embora os detalhes de como você alcança esses resultados sejam complexos. O link tem um trabalho de referência sobre como algumas das soluções de escalabilidade são colocadas em prática.
Eles têm muito mais do que apenas um servidor ao qual os clientes se conectam, mesmo que o endereço IP público seja o mesmo. O Google, por exemplo, faz uso pesado do endereçamento anycast para direcionar pessoas, e normalmente eles não têm apenas um endereço IP para cada cliente - mesmo que eles retornem apenas um endereço quando você pergunta.