Existem algumas maneiras de fazer isso. Muitos provedores permitem que você alugue ou compre um dispositivo de balanceamento de carga como um F5 ou algo parecido. Esses dispositivos podem balancear a carga de conexões tcp e muitas conexões de nível 7 para um conjunto de máquinas. Agora, se você não conseguir obter um balanceador de carga no hardware, existem outras opções disponíveis, como o nginx, o haproxy e o apache, todos têm ferramentas de balanceamento de carga para fazer isso.
Eu recomendo que você vá com um hardware, se você pode ter um projeto que precisa de algo para ser super rápido. Não me entenda mal, eu uso muito proxing nginx. Algumas vezes eu tenho proxy tcp para ha proxy para o nível 7. Como os balanceadores de carga de hardware não precisam usar tanta energia e você pode usar muito mais cargas nginx para lidar com o restante do tráfego, isso é útil quando você precisa fazer um monte de SSL termantions, para obter balanceadores de carga de hardware para fazer um monte de ssl custar muito, mas o apache, haproxy, nginx pode fazê-lo por bastante barato.
Apache: link
HaProxy: link