Como devo minimizar o impacto do tráfego 404 na web?

Question

Recentemente, um dos sites em que trabalho começou a ver um tráfego estranho em URL que não existe e nunca existe.

Páginas como:

• /imprss/123go.php
• /imprss/24cpv.php
• /bnnrs1002/728x90/4b4254ab5edd4.html
• /bnnrs1002/728x90/4b4254ab5f59e.html
• /bnnrs1002/728x90/4b4254ab5e1f8.html

Na verdade, existem mais de 300 URLs diferentes até o momento ... nenhuma das quais se parece com algo que já existiu no site.

Então, naturalmente, todos eles são redirecionados para a nossa página 404, que é uma versão modificada do nosso mapa do site. O problema é que estamos vendo milhares desses 404 por dia e temo que esse número possa crescer. Além disso, observei os logs do servidor e não encontrei nenhum endereço IP comum para todo esse tráfego.

Então, minha primeira ideia é reduzir e simplificar a página 404. Esse é o primeiro passo para minimizar a carga do servidor e reduzir a largura de banda.

Também estou convencido de que esse tráfego é proveniente de bots, algum tipo de malware ou usuários completamente desinteressados, pois acompanhei as sessões com algumas ferramentas que usamos e elas nunca usam o site depois de atingirem o 404. página.

Então, o que mais eu posso fazer para detectar melhor esses padrões de tráfego? Seria legal se eu conseguisse chegar ao fundo disso.

    

Answer 1

É comum ver esse tipo de " teste " em que alguém está adivinhando se existem diretórios específicos. É uma espécie de perfil onde a existência de certas páginas indica que determinado software está instalado no servidor, ou que determinados nomes de usuários provavelmente existem no servidor, e pode ser um precursor de outros tipos de hackers.

Eu gerencio vários sites, e todos eles vêem esse tipo de pesquisa quase que diariamente.

O fato de que eles estão vindo de diferentes endereços IP pode ser uma indicação de que o probe está sendo conduzido por meio de um botnet - especialmente se parece haver um padrão para a análise em vários endereços IP.

Não há nada que você possa fazer para impedir isso; no entanto, você pode definitivamente minimizar o impacto no seu sistema ao exibir uma página 404 muito simples . Também pode ser um lembrete para garantir que todo o seu software esteja atualizado e atualizado, e você tem senhas strongs em qualquer servidor voltado para a Internet.

    

Answer 2

Se você tem o suficiente de um denominador comum (como / impress / * e / bnnrs1002 / *), você pode colocar um módulo de reescrita no lugar para enviar esses pedidos em outro lugar. Digamos, por exemplo, uma página de erro personalizada mínima ou alguma outra página "Bugger Off". Isso ajudaria a economizar sua largura de banda enquanto você tenta colocar algo mais robusto no lugar.

    

Answer 3

Bem, se eles estão realmente apenas atingindo você uma vez por endereço IP, para todas as páginas diferentes, então não há nada que você possa fazer além de aparar a página 404 ... Ou você pode apenas redirecioná-los para o primeira página e declará-lo como uma exibição de página ...;)