defina seus servidores upstream como
upstream yourname {
server <ip serverA>;
server <ip serverB>;
}
(use peso ou backup no seu conf upstream, se necessário)
e use isso upstream na sua localização
location / {
proxy_pass http://yourname;
}