Supondo que os dois servidores da Web estejam na mesma rede (não distribuídos em sites / países), a melhor solução será colocar um dispositivo do Balanceador de Carga na frente dos servidores da Web, um dos melhores que existem no F5 LTM. mas como este é um dispositivo caro, eu recomendaria haproxy , que é um pacote de software de código aberto compatível com a maioria dos sistemas baseados em * nix.
Alguns recursos úteis para seu cenário específico:
Tempo de inatividade zero é reiniciado com HAProxy
Balanceamento de carga do servidor web fácil com HAProxy
Criando uma página de manutenção para o seu site
Assim, você pode colocar um servidor Linux com haproxy na frente desses servidores para balancear a carga das solicitações recebidas.