Estou projetando um serviço para uma plataforma de computação científica baseada na web que envolve o upload de arquivos de dados grandes (muitos GBs). Cada arquivo também contém cookies no cabeçalho que permitem que meu servidor autentique o usuário. Vários usuários podem fazer o upload desses arquivos de uma só vez.
É imperativo que esses arquivos sejam criptografados com SSL, e seria bom (mas não absolutamente necessário) enviar todas as solicitações para o nosso nome de domínio primário voltado para a Web que tenha um servidor Apache lidando com todas as solicitações. Nossos servidores estão hospedados no mecanismo do Google Compute. Eu tenho vários servidores de back-end para realmente processar os arquivos de dados e, atualmente, as solicitações de dados estão sendo intermediadas por proxy usando mod_proxy para os servidores de backend.
No entanto, mesmo com o proxy, todos os dados ainda fluem pelo servidor da Web antes de serem enviados para os servidores de backend. Isso pode facilmente atolar o servidor voltado para a web e meu site.
Minha pergunta é: como esse cenário geralmente é tratado? (desculpe, eu não sou um cara de TI, mas tenho que implementar isso sozinho)
Um redirecionamento é usado em vez de um proxy nesses cenários? Tentei redirecionamentos, mas as informações do cabeçalho original foram perdidas e os servidores de back-end não podem recuperar os cookies de autenticação.
Acho que você precisa de um balanceador de carga. Existem softwares pesados para fazer isso, mas você pode criar um balanceador de carga simples com o Apache usando o mod_proxy_balancer. E pode acompanhar as sessões para que as informações do cabeçalho não sejam perdidas.
Tags apache2 mod-rewrite mod-proxy