O que você quer é uma configuração ativa + passiva. Veja um exemplo de snippet nginx conf para você:
upstream backend {
server 1.2.3.4:80 fail_timeout=5s max_fails=3;
server 4.5.6.7:80 backup;
}
server {
listen 80;
server_name whatevs.com;
location / {
proxy_pass http://backend;
}
}
Então, 'normalmente', todos os pedidos irão para o host 1.2.3.4. Se obtivermos três falhas nessa caixa, o 4.5.6.7 assumirá.