Como alocado IP diferente ao rastrear páginas da web

2

Como posso atribuir endereços IP diferentes durante o rastreamento

Estou rastreando bilhões de páginas todos os dias (a alocação de diferentes ip ajudará a bloquear bloqueios)

    
por Mounarajan 17.12.2015 / 11:33

1 resposta

0

Você tem opções diferentes para ter IPs diferentes. Normalmente, o que você tem a fazer é usar algum proxy, eu geralmente recomendo escolher uma boa VPN que permita alternar facilmente a conexão entre seus servidores, assim você pode facilmente ter IPs diferentes quando eles forem bloqueados.

Normalmente, você começa a rastrear e quando o IP é bloqueado, você pode alternar para outro servidor da VPN e começar a rastrear novamente.

Apenas certifique-se de que o provedor de VPN permita que você faça isso, como alguns não o fazem.

A outra opção é usar um proxy para rastreadores. Este é um serviço que oferece um endpoint para o qual você pode ligar e sempre lhe dará uma resposta. Desta forma você não precisa se preocupar com IPs, bloqueios, limites, etc ...

Até agora eu conheço dois serviços proxycrawl e crawlera , Eu usei ambos e eles são realmente bons, proxycrawl é mais barato e mais rápido que o outro. Sugiro que você experimente os dois e use aquele que melhor se adequar a você.

    
por 06.06.2017 / 09:56