Se o balanceamento de carga de DNS não funcionar para você, então sim, um balanceador de carga ou um proxy de aplicativo como haproxy é o próximo passo.
Nós criamos uma API e estamos ocupados com a escalabilidade. Atualmente, temos 6 hosts e usamos o DNS Round Robin para distribuir a carga.
No entanto, muito do nosso tráfego vem de uma única fonte. Nós nos conectamos ao nosso sistema cliente para que eles usem um IP de origem para nos contatar. Realizamos alguns testes no loader.io e eu tenho visto uma distribuição desigual.
Eu sei que o round robin pode não ser perfeito, mas é melhor do que o que estávamos usando antes. HAProxy em outra caixa local para gerenciá-lo? Eu estava pensando em ter dois balanceadores de carga com o DNS FailOver para alternar se um deles cair.
UPDATE: Também queremos reduzir o tráfego de rede. Por exemplo, se o HAProxy estivesse perguntando qual servidor era o menos usado, isso aumentaria o tempo de resposta. Podemos encaminhar a solicitação HTTP diretamente para o host?
Se o balanceamento de carga de DNS não funcionar para você, então sim, um balanceador de carga ou um proxy de aplicativo como haproxy é o próximo passo.