Como sua pergunta é bastante genérica e não fornece detalhes sobre o software envolvido, minha resposta também é curta: basta usar um conjunto de dois loadbalancers, que compartilham um 'IP virtual' entre eles por meio do uso de, por exemplo. vrrp (o "Protocolo de Redundância do Roteador Virtual") ou marcapasso (há mais opções disponíveis também). Use duas máquinas para isso, que são bare-metal ou executadas em dois hosts diferentes. Se uma das máquinas cair, a outra assumirá o IP. Aponte seu registro para este IP (e lembre-se: o DNS não foi feito para atingir alta disponibilidade).
Editar 1: Como @Ondra Sniper Flidr mencionado nos comentários: Outra solução é keepalived .
Editar 2: Você também pode dar uma olhada em CARP , o "Endereço comum" Protocolo de redundância ". Uma solução de software usando esse protocolo seria UCARP , por exemplo.