Veja os balanceadores de carga.
HAProxy , Verniz são alguns bons LBs baseados em software. Em alguns casos, até os servidores da Web, como o Apache e o Ngnix, podem fazer o balanceamento de carga. Se você tiver o orçamento, poderá ver os balanceadores de carga baseados em hardware.