Você pode usar o Nginx para isso: primeiro você precisa configurar e fazer o upload:
upstream web {
server serviceserver1.com
server serviceserver2.com
server serviceserver3.com
}
Então, o que você está procurando são: proxy_next_upstream
e proxy_connect_timeout
.
Tente isto:
location / {
proxy_pass $scheme://web;
proxy_redirect off;
proxy_next_upstream error timeout invalid_header http_500;
proxy_connect_timeout 2;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For
$proxy_add_x_forwarded_for;
}