O Nginx permite que você envie solicitações para qualquer servidor que desejar, com base na URL. Também pode armazenar em cache, se desejado. O Nginx é rápido, simples e tem baixos requisitos de recursos. Ele pode ser instalado em um dos servidores existentes.
Muitos outros produtos fazem isso - Apache, HAProxy, etc. A ferramenta que você está procurando provavelmente é melhor chamada de balanceador de carga.
Atualizar
Acabei de perceber sua tag da AWS, que não foi mencionada no texto da pergunta. O balanceador de carga de aplicativo da AWS pode ser uma opção melhor do que a implantação do Nginx. Pode acabar sendo mais caro, mas os serviços gerenciados tendem a ser mais confiáveis do que os servidores individuais.