Existem duas soluções comuns para alta disponibilidade para sites: round robin de DNS e balanceamento de carga IP.
Round robin de DNS significa que você obtém endereços IP diferentes sempre que consultar um servidor DNS em busca do nome do site; isso ajuda a distribuir solicitações em vários servidores e também evita o ponto único de falha que você apontou. Esta é a resposta do DNS para www.google.com
(quando solicitado a um dos servidores de nomes oficiais do domínio "google.com"):
> www.google.com
Server: ns1.google.com
Address: 216.239.32.10
www.google.com canonical name = www.l.google.com
www.l.google.com internet address = 74.125.77.99
www.l.google.com internet address = 74.125.77.104
www.l.google.com internet address = 74.125.77.147
Outra solução comum, que poderia também ser usada ao mesmo tempo (e muito provavelmente neste caso), é o balanceamento de carga IP; ou seja, esses endereços IP não são realmente atribuídos a servidores, mas sim a dispositivos de balanceamento de carga (ou proxies reversos ou qualquer outra solução semelhante), que encaminham as solicitações para um dos vários servidores back-end; Se um desses servidores falhar, outro seria usado.
Mais informações aqui: