Perguntas sobre 'web-crawler'

Eu preciso bloquear um monte de robôs de rastrear algumas centenas de sites hospedados em um servidor web Nginx rodando em uma máquina Ubuntu 16.04. Eu encontrei um exemplo bastante simples aqui (parte importante do código está abaixo), mas...

Estou mantendo alguns rastreadores da web. Eu quero melhorar nosso sistema de carga / aceleração para ser mais inteligente. Por causa eu olho para códigos de resposta, e acelerarei para cima ou para baixo baseado nisso. No entanto, gostaria q...

É possível impedir o rastreador da Web de baixar arquivos (como o arquivo zip) no meu servidor? Eu deveria criar um script PHP usando cookies para rastrear visitantes especialmente rastreadores da web para login / registro após o download de...

Estou usando curinga no valor do caminho de login, conforme mostrado abaixo: [http-get-dos] enabled = true filter = http-get-dos logpath = /var/log/ispconfig/httpd/*/access.log maxretry = 250 findtime = 300 #ban for 10 hours bantime = 36000 a...

Estou usando o nginx e sempre sou atingido pelo rastreador da Web, se estiver correto. Eu tentei configurar o fail2ban, mas o endereço IP não pode ser detectado pelo fail2ban. O motivo pelo qual não é detectado porque parece ser um visitan...