Este é um rastreador da Web normal ou algo mais?

Question

Estou executando um pequeno servidor web apache2 para um departamento da minha universidade, e notei que os logs de acesso estão cheios de mensagens como as seguintes:

"GET /path/on/my/site/7z|aac|arc|arj|asf|asx|avi|bin|csv|doc|exe|flv|gif|gz|gzip|hqx|jar|jpe?g|js|mp(2|3|4|e?g)|mov(ie)?|msi|msp|pdf|phps|png|ppt|qtm?|ra(m|r)?|sea|sit|tar|tgz|torrent|txt|wav|wma|wmv|wpd|xls|xml|z|zip HTTP/1.0" 200 22932

Isto parece estar ocorrendo literalmente a cada poucos segundos durante todo o dia todos os dias, cada vez com um caminho diferente em nosso site, e tudo vem de um endereço IP dentro da minha universidade. Às vezes só tem o caminho e não há "7z | aac | arc | arj ..." anexado ao final. Eu sou novo em rodar um servidor web, então isso pode ser óbvio para os profissionais - estou simplesmente sendo rastreado ou isso é algo sinistro que eu deveria bloquear?

    

Answer 1

Dê uma olhada na cadeia do agente HTTP. (isso também deve estar no seu log de acesso) Isso pode ajudá-lo a descobrir / o que está vindo.

NÃO se parece com uma solicitação normal de webcrawler, parece uma tentativa de encontrar material para download.

Dê uma olhada na pesquisa inversa de DNS do host que está fazendo essa análise. Também pode ajudar.

E, por último, sempre que vir tráfego que não é o que você deseja / espera para seu próprio site, fique à vontade para bloqueá-lo. Se você não vir nenhuma solicitação legítima proveniente desse IP, isso sobrecarregará seus logs com lixo que você não deseja. Meu conselho, bloqueie-o.

    

Answer 2

Por que você não pergunta dentro da universidade? Alguém dentro deve ter atribuído esse IP e saberá a quem ou a que pertence.

Do que você diz, você está na University Network e esse tráfego também. Portanto, existem duas opções: 1. Um estudante trolling - improvável, eles geralmente têm IDS e outras coisas hoje em dia e provavelmente já teria desligado isso 2. É um pouco que a universidade faz.

Em ambos os casos. PERGUNTE! Bloquear pode ser uma idéia muito ruim, porque se é algo legítimo eles correm por segurança ou o que for e você bloqueia - eles provavelmente farão o mesmo com você.