Você precisa de um balanceador de carga. Existem dois tipos: software e hardware.
-
hardware : você compra uma caixa que geralmente tem uma interface da web e dividirá o tráfego igualmente entre os servidores da web. Eles costumam ter muitos recursos que permitem fazer muitas coisas, como suporte a 802.1Q, SFP, balanceamento de carga global, terminação de SSL, e assim por diante. Estes são bastante caros e você pode obtê-los da Cisco, F5, Radware, Barracuda (mais barato).
-
software : Você obtém um servidor padrão e instala o software de balanceamento de carga. Isso é muito fácil de fazer com o Linux. Você pode usar HAProxy ou ldirectord ou Keepalived. Existem muito poucos para escolher. Este é um método mais barato, mas sem todas as interfaces web e recursos divertidos.
Qualquer sistema de balanceamento de carga meio decente detectará um servidor offline. Todos os acima fazem.