Você não nos informou sobre o tipo / nome de seu balanceador de carga. Você pode experimentar o haproxy . Ele faz um bom trabalho ao distribuir a carga entre os servidores e pode realizar verificações para manter a lista de servidores ativos. Sua poderosa ACL é muito flexível e suporta diferentes algoritmos de balanceamento de carga. Normalmente, não requer nenhuma alteração no lado do cliente.