Encontrando o tráfego incomum do google

Question

Somos um pequeno provedor de Internet. Para obter acesso à Internet, estamos usando o NAT (10 a 20 usuários por um IP público). E ultimamente nos reunimos com os serviços de bloqueio do Google (captcha e full block) e não conseguimos encontrar uma solução adequada para nossos usuários. Infelizmente, não encontramos nenhuma recomendação oficial e instruções do Google, explicando como um administrador de ISP pode resolver o problema. Tudo o que conseguimos encontrar foram possíveis causas do bloqueio e métodos que podem ser usados por nossos clientes. Mas gostaríamos de ter a oportunidade de corrigir esse problema globalmente e salvar nossos clientes do problema de ter que lidar com isso por conta própria.

A primeira ideia é capturar pacotes de usuários com o IP de destino google.com (e seu domínio local do Google). Se algo em um PC de usuários está inundando o Google, eles geram muitos pacotes.

Exemplo:

# Find google.com IP
$ host google.com
google.com has address 216.58.209.206
# local google.com.ua has ip in the same network 216.58.209.0/24

# Capture 50k packets with google IP dst
$ sudo tcpdump -i eth0 -nn dst net 216.58.209.0/24 -c 50000 > /tmp/dump.txt
# Parse dump file and find top 10 users
$ cat /tmp/dump.txt | awk '{print $3}' | awk -F '.' '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -r -n | head

    528 172.30.138.128
    473 172.30.137.173
    382 172.30.138.117
    334 172.30.138.34
    312 172.30.137.211
    227 172.30.136.50
    204 172.30.138.220
    192 172.30.139.34
    170 172.30.137.217
    154 172.30.138.96

Mas este método não funciona corretamente. Dá resultados aleatórios, parece um trabalho normal do usuário. Nos fóruns encontrei informações de que o sistema do Google tem um difícil algoritmo de detecção de tráfego incomum com base no que exatamente você procura no google.

Talvez alguém tenha resolvido esse problema? Ou você sabe como isso pode ser resolvido? Como posso encontrar tráfego incomum no Google no meu gateway Linux?

    

Answer 1

Por experiência pessoal, esse é um problema que envolve muitos pedidos (legítimos ou não) provenientes de um único IP.
Isso também acontece com os nós de saída.
Ir para um único endereço (eu sei, improvável) ou até mesmo É melhor começar a fornecer a conectividade IPv6 adequada e os problemas para os usuários legítimos desaparecerão.