Isso certamente é uma coisa, mas precisaríamos de mais informações sobre sua configuração. Se você está apenas servindo uma página da Web estática, lançando um balanceador de carga na frente das máquinas e fazendo com que ele seja arredondado para os servidores. Se você tem algo menos estático. Você provavelmente precisaria de um balanceador de carga (ou proxy reverso como nginx) na frente de seus servidores da Web e um único banco de dados usado por todos os servidores.
Você também pode procurar em uma rede de distribuição de conteúdo (CDN), como cloudflare.com ou Akamai.com.
Aqui está um link sobre redes de distribuição de conteúdo:
Rede de distribuição de conteúdo - WikiPedia
Você provavelmente terá uma resposta melhor com um pouco mais de informações sobre seu site