Netstat: Como saber se é Humano ou Bot / Spider / DDOS

Question

Estou usando o seguinte comando para verificar quantas conexões eu tenho de um único ip

netstat -anp |grep ':80' | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n

Se for um ataque DDOS (mais de 500 conexões), é fácil detectá-lo. Mas eu ainda tenho em um determinado momento 60-100 conexões de Ip único. Pode ser humano ou algum tipo de bots / aranhas?

Isso é o que eu tenho no momento (top 6).

48 217.212.230.***
54 46.63.105.***
55 62.235.175.***
56 79.235.188.***
60 178.27.93.***
63 31.16.96.***

    

Answer 1

Obviamente, é difícil responder empiricamente, pois não sabemos qual é o seu serviço / aplicativo ou como ele se comporta - esse número de conexões pode ser por design, por exemplo.

Mas a melhor maneira de entender esse problema é comparar o acesso típico ao site a partir de um único IP conhecido, observar o que acontece durante a "história do usuário" durante qualquer transação / pesquisa que você normalmente esperaria que um usuário fizesse .

Agora veja como funcionam as conexões. Este benchmark combina com o que você está vendo via netstat?

Se sim, pelo menos você sabe onde você está. Se eles são substancialmente menores, e não há razão para supor que esses IPs tenham uma razão válida para ser a fonte de múltiplos 'user stories', então você provavelmente tem alguma forma de spider / DOS / whatever.

Não esqueça que você pode sempre nslookup e geolocalizar esses endereços. Pode ser uma ferramenta muito útil quando se lida com esse tipo de coisa. Também não tenha medo de procurar / sondá-los se estiver preocupado também.

    

Answer 2

Você precisará aprofundar o que está acontecendo para ver se o tráfego é legítimo.

Tráfego legítimo

Os bots legítimos podem ser identificados por seus agentes de usuário. Verificar o proprietário do IP ou reverter o DNS pode ajudar a identificar com precisão os dados falsificados do agente do usuário.

Eu vi o Googlebot, o Slurp do Yahoo e outras aranhas criando mais de 40 conexões com um sistema.

Observe que os navegadores podem fazer até 20 conexões (acho que o padrão é por volta de 8) para um servidor. Se você tiver vários usuários por trás de um NAT, eles podem facilmente usar 20 a 40 conexões.

Sinais de DDoS

Eu vi o DDoS nos atacar com um baixo nível de conexões, mas de uma ampla gama de endereços IP. Por exemplo, os invasores normalmente não têm mais de 100 conexões com o servidor, mas de dezenas ou até centenas de IPs.

Essa tática é usada para minar certos métodos de limitação de taxa disponíveis para bloquear inundações HTTP.

Nesses casos, considero os principais IPs ofensivos e vejo vários itens:

• de que país eles se originam (IP Whois)
• eles vêm da mesma classe C / B network
• o que eles estão acessando (verifique os logs do apache)
• eles parecem ter um comportamento normal do usuário
• pontos em comum nas sequências de agente do usuário

Por exemplo, durante uma recente mitigação de DDoS, identificamos que a plataforma responsável pelo ataque se identificou como uma combinação específica de navegador / idioma. Fornecer uma regra para eliminar essas solicitações eliminou 60% do ataque.

Em outro caso, descobri que cerca de 50% dos IPs atacantes foram atribuídos a uma região da China. Usando blocos de IP específicos do país, conseguimos eliminar esse tráfego.

Então, pesquisar os principais IPs deve informar rapidamente se você deve permitir ou bloquear isso.

    

Answer 3

Noto que você ainda não tem uma resposta (pelo menos não o fez quando postei isto no Security SE ), então aqui estão meus dois bits.

Um único navegador (executado por um humano) nunca deve enviar tantas conexões. No entanto, é possível que muitos usuários na mesma rede no mesmo site possam fazer com que o número de conexões simultâneas se multiplique. Se eles estiverem na mesma rede NAT, eles usarão o mesmo IP.

Você pode querer usar um inspetor de rede em um navegador, testar o carregamento de suas páginas da Web e avaliar quantas conexões serão colocadas. O navegador tem seu próprio limite de conexão simultânea, mas isso é específico do navegador.

Um bot ou uma aranha, como para um mecanismo de pesquisa, provavelmente não fará nada além de um navegador.

    

Answer 4

Verifique os registros do servidor da web. O nome do agente está lá. Todos os grandes bots se identificam.