Como os sites de grande escala decidem entre proxies e abuso?

Question

Muitos sites de grande escala bloqueiam o acesso se muitos pedidos forem feitos a partir de uma origem. Mas os proxies de grandes provedores exibiriam acesso semelhante. Então, como um servidor deve diferir entre essas solicitações? E o que se comporta é necessário para que o proxy legítimo não ative o bloqueio?

    

Answer 1

A maioria dos sites verifica se há proxies abertos, talvez rastreie algumas listas de proxy e verifique várias listas negras.

Então, com o passar do tempo e com os abusos, os administradores apenas bloqueiam a lista negra e / ou os bloqueios de IP. Por exemplo, se você recebe muito tráfego suspeito da China e seu site não está nem mesmo direcionado a eles, é uma prática bastante comum bloquear o tráfego de seus intervalos de IP ( IANA e aqui

Depois disso, tudo se resume ao site que você executa e à importância desses usuários para o seu negócio. O Google apenas usa CAPTCHAs para limitar o abuso de recursos, e tenho certeza de que eles usariam medidas mais drásticas (até mesmo ao ponto de alterar o AS PATHs via BGP) se necessário.

Então, se você puder autenticar os usuários por trás do IP e seu comportamento for consistente com o uso normal, então é provavelmente um proxy empresarial / corporativo transparente para alguns escritórios. (Para monitorar padrões de uso, você pode tentar usar algum tipo de IPS / IDS com filtros HTTP personalizados, adaptados às suas necessidades.)

    

Answer 2

Eles provavelmente adicionariam os endereços IP dos proxies a uma lista de permissões de algum tipo, de modo que fossem ignorados pelo software de filtragem de tráfego.

    

Answer 3

Uma pergunta mais geral é "Como faço para lidar com o recebimento de tráfego malicioso e benigno do (s) mesmo (s) endereço (s) IP?"

Além de proxies abertos (e pagos), você pode ter um usuário legítimo que, sem saber, também hospeda um bot de spam. Ou uma empresa com um grande NAT escondendo spam bots. Ou um país inteiro que envia spam e usuários reais.

Estes também podem ter proporções diferentes. Alguns exemplos do site que eu executo: Até agora, 100% de todo o tráfego que recebi do endereço IP do WebSense tem sido spammers e, além do único cliente que eu tenho do Senegal, o resto tem sido spammers. Por outro lado, a China envia-me cerca de 25% de tráfego real e 75% de spam.

Bloquear todas as solicitações desses IPs ou netblocks sempre terá uma taxa de falsos positivos, mas você não precisa bloquear todas as solicitações quando bloquear um endereço IP. Se você está tendo um problema com comentários do blog ou spam do fórum, tente limitar as solicitações POST do endereço IP ofensivo.

<Limit POST>
  Deny from 192.0.2.1
  Deny from 198.51.100.2
  Deny from 203.0.113.3
</Limit>

Em vez de bloquear o (s) endereço (s) IP, você pode usar o endereço IP como parte do seu sistema de pontuação de spam. Se você tiver um sistema de pontuação bayesiano para spam, basta adicionar o endereço IP do usuário nos tokens. Os endereços que sempre enviam spam receberão uma pontuação alta, os endereços que não obtiverem uma pontuação baixa e os endereços com os dois tipos de usuários (como proxies) ficarão no meio, de modo que sejam julgados pelo conteúdo de suas mensagens e não é o endereço IP deles.

Você pode ignorar totalmente os endereços IP e julgar todo o conteúdo enviado no próprio conteúdo e não a reputação do endereço IP de onde veio.

Embora eu não tenha feito isso sozinho, você provavelmente poderia configurar o fail2ban para ler seus registros de pontuação de spam e colocar os endereços IP dos piores criminosos em um arquivo .htaccess para que as proibições de endereço IP expirem após um determinado tempo .