Estranhas entradas de log do Apache provenientes de um endereço IP do Google

Question

Eu tenho esse tipo de mensagem de erro no meu arquivo de log de erros do Apache:

[Wed Sep 27 18:45:34.289807 2017] [:error] [pid 17543] [client 66.249.79.21:47149] PHP Notice:  Undefined variable: catNameUrl in /var/www/dev/page/page_display.inc.php on line 73
[Wed Sep 27 18:59:11.964934 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  getimagesize(../include/images/sizes/3GHI9W6AyEI5/--1000.jpg): failed to open stream: No such file or directory in /var/www/dev/page/index_framed.php on line 66

E 1000 vezes por hora:

[Wed Sep 27 18:59:11.973506 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973729 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973878 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.974017 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335

etc ...

O fato é que não há nenhum referenciador sobre a página solicitada. Este é um log de erros normal:

[Wed Sep 27 09:09:39.877580 2017] [:error] [pid 29730] [client XX.XX.XX.XX:18888] PHP Notice:  Undefined index: cat in /var/www/dev/page/page_display.inc.php on line 441, referer: https://dev.mywebsite.com/page/redaction/p/10

link - > Google Search Engine Spider

Acho que ele está abrindo URLs incorretos e não é possível abrir um arquivo que é usado para criar dinamicamente uma imagem.

Por que não há nenhum referenciador no log quando este ip chega ao meu site de desenvolvimento?

    

Answer 1

Why there is no referer in the log when this IP reaches my dev website?

Os bots, incluindo o Googlebot, normalmente não enviam cabeçalhos de referência.

Outra consideração é que não há cabeçalhos de referência a serem enviados se a página for acessada diretamente (os cabeçalhos de referência normalmente ficam em branco nestes casos, a menos que esteja programado para não ser).

Mais genericamente, você pode estar interessado nesta pergunta dos webmasters , que tem uma boa lista de outros motivos pelos quais os cabeçalhos de referência não são enviados (embora os dois listados acima sejam os mais prováveis de serem aplicados).

    

Answer 2

Este é provavelmente um rastreador do Google que tenta indexar o conteúdo do seu site. Então eu não me preocuparia com isso. Dito isto, você afirma isso:

And 1000 times per hour…

E forneça estas linhas como um exemplo:

[Wed Sep 27 18:59:11.973506 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973729 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973878 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.974017 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335

A parte principal é o "Alerta do PHP: divisão por zero…", já que isso é um erro no código e no script do seu site. Suas duas opções são desativar avisos do PHP no seu servidor de produção, o que eliminará essas mensagens de erro ou - minha solução preferida - seria abrir global_images.inc.php , ir para a linha 335 e descobrir o que está causando uma divisão por zero erro e corrigir isso.

Você nunca conseguirá controlar totalmente a maneira como um bot rastreia seu site, não importa o que você diga. Mas se você quiser limitar o ruído em seus registros de erros, isso está totalmente sob seu controle. Limpe o código ou acelere o erro de nível de "aviso" em seu site e não perca mais o sono do que o necessário.