Para alcançar o objetivo que você procura, você tem duas opções:
- BGP
- failover baseado em DNS (soa como o que você está tentando fazer)
A opção 1 não é algo que você queira criar (IMO), pois é complicado e difícil de acertar. Se o seu provedor de hospedagem o oferecer como um serviço gerenciado, ALTAMENTE recomendo que você mude para usá-lo.
Para a opção dois, há uma variedade de dispositivos disponíveis. Usei dispositivos Ecessa PowerLink com bons resultados. Provavelmente existem outros dispositivos que possuem recursos semelhantes, mas eu não os usei.