nginx proxy_cache: limite pedidos paralelos para o mesmo URL

Question

nginx proxy_cache: limite pedidos paralelos para o mesmo URL

#1 resposta do (0 votos)
#2 resposta do (0 votos)

3

Estamos usando o nginx como proxy reverso para obter arquivos de servidores upstream. Os arquivos não são dinâmicos - pelo menos não em uma base por solicitação - e estão (às vezes) atrasados em alta latência.

Eu gostaria de limitar a solicitação para o mesmo URL exatamente 1.

Um exemplo do comportamento que eu quero evitar:

127.0.0.1 - - [03/Jan/2013:16:08:15 +0100] "GET /part-00132.ts HTTP/1.0" 200 1506068 "-" "Prefetch" "-"
127.0.0.1 - - [03/Jan/2013:16:08:28 +0100] "GET /part-00133.ts HTTP/1.0" 200 1189476 "-" "Prefetch" "-"
127.0.0.1 - - [03/Jan/2013:16:08:29 +0100] "GET /part-00133.ts HTTP/1.0" 200 1189476 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/536.26.17 (KHTML, like Gecko) Version/6.0.2 Safari/536.26.17" "-"
127.0.0.1 - - [03/Jan/2013:16:08:34 +0100] "GET /part-00133.ts HTTP/1.0" 200 1189476 "-" "Prefetch" "-"
127.0.0.1 - - [03/Jan/2013:16:08:44 +0100] "GET /part-00134.ts HTTP/1.0" 200 1762876 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/536.26.17 (KHTML, like Gecko) Version/6.0.2 Safari/536.26.17" "-"
127.0.0.1 - - [03/Jan/2013:16:08:53 +0100] "GET /part-00135.ts HTTP/1.0" 200 1627704 "-" "Prefetch" "-"
127.0.0.1 - - [03/Jan/2013:16:08:59 +0100] "GET /part-00136.ts HTTP/1.0" 200 1252456 "-" "Prefetch" "-"
127.0.0.1 - - [03/Jan/2013:16:09:03 +0100] "GET /part-00134.ts HTTP/1.0" 200 1762876 "-" "Prefetch" "-"
127.0.0.1 - - [03/Jan/2013:16:09:04 +0100] "GET /part-00137.ts HTTP/1.0" 200 1120292 "-" "Prefetch" "-"
127.0.0.1 - - [03/Jan/2013:16:09:07 +0100] "GET /part-00135.ts HTTP/1.0" 200 1627704 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/536.26.17 (KHTML, like Gecko) Version/6.0.2 Safari/536.26.17" "-"
127.0.0.1 - - [03/Jan/2013:16:09:12 +0100] "GET /part-00134.ts HTTP/1.0" 200 1762876 "-" "Prefetch" "-"
127.0.0.1 - - [03/Jan/2013:16:09:14 +0100] "GET /part-00136.ts HTTP/1.0" 200 1252456 "-" "Prefetch" "-"
127.0.0.1 - - [03/Jan/2013:16:09:17 +0100] "GET /part-00135.ts HTTP/1.0" 200 1627704 "-" "Prefetch" "-"
127.0.0.1 - - [03/Jan/2013:16:09:17 +0100] "GET /part-00138.ts HTTP/1.0" 200 1248884 "-" "Prefetch" "-"

Deveria ser assim:

127.0.0.1 - - [03/Jan/2013:16:08:15 +0100] "GET /part-00132.ts HTTP/1.0" 200 1506068 "-" "Prefetch" "-"
127.0.0.1 - - [03/Jan/2013:16:08:28 +0100] "GET /part-00133.ts HTTP/1.0" 200 1189476 "-" "Prefetch" "-"
127.0.0.1 - - [03/Jan/2013:16:08:44 +0100] "GET /part-00134.ts HTTP/1.0" 200 1762876 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/536.26.17 (KHTML, like Gecko) Version/6.0.2 Safari/536.26.17" "-"
127.0.0.1 - - [03/Jan/2013:16:08:53 +0100] "GET /part-00135.ts HTTP/1.0" 200 1627704 "-" "Prefetch" "-"
127.0.0.1 - - [03/Jan/2013:16:08:59 +0100] "GET /part-00136.ts HTTP/1.0" 200 1252456 "-" "Prefetch" "-"
127.0.0.1 - - [03/Jan/2013:16:09:04 +0100] "GET /part-00137.ts HTTP/1.0" 200 1120292 "-" "Prefetch" "-"
127.0.0.1 - - [03/Jan/2013:16:09:17 +0100] "GET /part-00138.ts HTTP/1.0" 200 1248884 "-" "Prefetch" "-"

Atualização:

Um diagrama para descrever o problema um pouco:

            nginx              upstream
           +-----+            +--------+
           |     |            |        |
   A +----->     +-----------------+   |
           |     |            |    |   |
   B +----->     +--------------+  |   |
           |     |            | |  |   |
     <-----+     <--------------|--+   |
           |     |            | |      |
     <-----+     <--------------+      |
           |     |            |        |
   C +----->     +---+        |        |
           |     |   |        |        |
     <-----+     <---+        |        |
           |     |            |        |
           +-----+            +--------+

Por isso, quero que o cliente B espere pela resposta A .

nginx reverse-proxy load-balancing

por Gert 03.01.2013 / 15:29

2 respostas

Tags nginx reverse-proxy load-balancing

Re-empacotando software comercial em pacotes RPM Determinação de rotas NMap no Windows 7 x64 [fechado]

score 0 · Answer 1

Retirado da resposta para o Nginx como desativar os downloads multithread :

Use o exemplo do nginx para a configuração limit_conn :

limit_zone one $binary_remote_addr 10m;

server {
  location /download/ {
    limit_conn one 1;
  }
}

Não são apenas os gerenciadores de download com Range solicitações que multiplexam os downloads (e isso não desativa Range cabeçalhos); Navegadores modernos que carregam as solicitações multiplex de páginas também. Tenha muito cuidado ao usar essa configuração em qualquer lugar, espere um location que você precise impedir especificamente para downloads multiplexados.

score 0 · Answer 2

Uma solução potencial para você é o armazenamento em cache. Ao usar proxy pass ou fcgi pass com nginx, você tem a opção de armazenar em cache os dados de retorno por um período de tempo. Você pode ler mais sobre isso nos documentos: passe de proxy e versão fcgi . Os dois são praticamente idênticos uns aos outros em como eles funcionam.

Eu também sugiro procurar alguns tutoriais sobre ele, já que as partes das operações de cache funcionam juntas não são totalmente triviais a partir dos documentos.

Mas a ideia principal é que você crie uma "chave" de proxy a partir do seu URL (no seu caso). E você pode configurá-lo para armazenar em cache por 10min ou algo assim. Assim, as chamadas subsequentes são atendidas a partir do cache local, em vez de buscá-lo novamente.

Você pode evitar solicitações subsequentes durante a atualização, definindo:

proxy_cache_use_stale updating;