Como descobrir qual ip está martelando meu site?

Question

Eu tenho um site que recentemente recebeu muito tráfego que a carga do meu servidor foi para o céu.

load average: 83.99, 72.89, 77.70

Meu site está hospedado em um servidor dedicado com 64 GB de RAM e CPU Intel i7 6700k. e está por trás do cloudflare.

Eu não uso nenhuma análise para rastrear visitantes.

Dos últimos 3 a 4 dias, o tráfego aumentou e fiquei impressionado com o tráfego regular no meu site, até que descobri outros sites usando a pesquisa do google, que outro site estava agindo como proxy online / reverso e carregando meu site como se fosse deles e seu site tinha muito mais tráfego que o meu, então eu acessei

https://www.whatismyip.com/

usando o proxy desse site, por exemplo,

www.example.com/proxy_url=https://www.whatismyip.com

para obter o endereço IP e, em seguida, bloquear seu endereço IP no cloudflare. Este método não é viável toda vez que alguém faz proxy para o meu site.

Então, como posso descobrir se algum endereço IP está fazendo muitas solicitações para o meu site?

    

Answer 1

Não há uma solução simples para o seu problema, pois ele não está bem definido (especialmente em relação a como ele alcança sua rede), no entanto, há várias ferramentas na sua caixa de ferramentas, incluindo -

1. Cloudflare passa pelo CF- Cabeçalhos de Conexão-IP e X-Forwarded-For . Você deve registrar essa informação junto com a solicitação - como você faz isso dependerá do seu servidor web. Aqui é um link sobre como fazer isso no Apache.

2. Depois de ter as informações acima, você pode configurar fail2ban para contar o número de ocorrências contra esse arquivo de log em um determinado momento e lista negra com base em um grande volume de ocorrências. Não subestime isso, pois cada elemento será registrado nesse arquivo de log.

3. A maioria dos bons servidores web permite lidar com o tráfego com base em várias variáveis - uma para investigar é a cadeia USER-AGENT - se esse for um proxy de prateleira, ele provavelmente configurará o user-agent string de uma maneira que você possa pegá-lo.

4. Usar IPTables - você pode limitar o número máximo de conexões por endereço IP usando o módulo connlimit. aqui aqui a> para uma implementação. Infelizmente, isso não funcionará muito bem se você estiver usando o cloudflare, pois todas as suas conexões virão do mesmo endereço IP.

Answer 2

Proibir usuários legítimos que, sem saber, chegam ao seu site por meio de proxy é uma maneira certa de perder tráfego ou obter uma má reputação. Você faria melhor para atacar o proxy através de seu provedor.

Uma resposta no StackOverflow explica em detalhes um método de uso no nginx uma combinação de cabeçalhos para atender solicitações que são endereçadas somente a você através do nome do host correto. Você pode adaptar esta solução para descobrir o nome do proxy que foi usado na solicitação do cliente e use esse nome conforme descrito abaixo.

Um bom conselho é fornecido por esta outra resposta :

Here's a number of strategies you might want to consider:

1. From your server logs, figure out by which means the proxy is downloading your site and selectively change responses for him
e.g. if hes using one specific provider, block or change responses for their address space

2. It may be completely sufficient to just informally notify the provider of the proxy
be sure to contact their abuse department directly, not the sales guys. if their server IP is registered by different company than their domain registrar, take the path of least resistance - first ask the provider headquartered in a country closer to yours.

3. Depending on the TLD it will be anywhere from trivial to impossible to figure out the operator of the site and/or get a court order that forces their DNS provider to drop them

4. Report them to Google Safe Browsing
Use the option Report Phishing Page. This will - if our Google overlords decide so - create a big fat warning for users of the proxy AND it will remove the site from search results. Most users of most browsers are using the Google safe browsing block lists, so this will effect not quite everyone, but close to.