Os repositórios / servidores do Ubuntu executam análise de log para identificar e bloquear o programa de recuperação?

Question

Muitos administradores de servidores querem que seu servidor seja usado apenas por seres humanos e não por programas de recuperação como wget . Uma maneira de bloquear esses programas é usar log analysis . A análise de log identifica os programas de recuperação procurando similaridades estatisticamente significativas entre as solicitações, geralmente por meio do tempo.

Sempre que eu tento usar o wget para baixar pacotes através de um script de shell (um semelhante aos criados por synaptic , na maioria eles são criados por synaptic ), apenas alguns pacotes são baixado e a maioria dos pacotes não faz o download devido à recusa de conexão .

Por isso, acredito strongmente que o motivo mais provável pelo qual a conexão foi recusada é que os servidores do Ubuntu usam a análise de log para bloquear programas.

Os servidores do Ubuntu usam análise de log para bloquear programas (recuperação de pacotes)?

EDITAR:
Eu executei alguns scripts que continham pacotes de tamanho pequeno (ou seja, eles seriam baixados em menos tempo). Esses scripts funcionam corretamente conforme o esperado. O erro surge com pacotes grandes em tamanho (consequentemente, levam mais tempo).

    

Answer 1

wget tem uma opção, --random-wait , que é projetada para evitar o bloqueio de análise de log. De os documentos :

  

--random-wait

     

Alguns sites podem realizar análises de log para identificar programas de recuperação, como o Wget, procurando por dados estatisticamente significativos.   semelhanças no tempo entre os pedidos. Esta opção faz com que o tempo   entre pedidos para variar entre 0,5 e 1,5 * segundos de espera, onde   A espera foi especificada usando a opção --wait , para mascarar   presença de tal análise.

     

Um artigo de 2001 em uma publicação dedicada ao desenvolvimento em uma plataforma de consumidor popular forneceu um código para realizar essa análise em   o voo. Seu autor sugeriu o bloqueio no nível de endereço da classe C para   garantir que os programas de recuperação automatizados fossem bloqueados, apesar da mudança   Endereços fornecidos por DHCP.

     

A opção --random-wait foi inspirada por essa recomendação desaconselhada de bloquear muitos usuários não relacionados de um site devido a   as ações de um.

Então, as chances são de que, se o servidor aceitar você com a opção --random-wait ativada, mas não sem ela, ela está usando a análise de log.

    

Answer 2

A maioria dos espelhos não é controlada pelo Ubuntu e sua configuração é completamente feita pelos administradores de sistema. Por extensão, pode haver algum bloqueio em alguns espelhos. Eu pessoalmente não vejo por que eles iriam, mas dado os padrões, wget é bastante simples de dedilhar através de sua string user-agent antes mesmo de você começar a considerar o controle comportamental.

Você pode tornar o wget parecido com o atual apt de forma bastante simples:

wget -U "Ubuntu APT-HTTP/1.3 (0.9.9.1~ubuntu3)" ...

E, como outro usuário apontou, se o seu espelho atual é controlado por alguém que não quer que você use wget , você poderia simplesmente usar outro espelho . Existem muitos deles.