O que os registros de log de auditoria do ModSecurity realmente significam?

Question

Nós temos a instalação do ModSecurity para logar no modsec_audit.log para o Apache2. Hoje tivemos 2259 entradas criadas neste log com um referenciador de:

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

Essas entradas significam que o bingbot foi impedido de rastrear nosso site? O registro H para essa entrada de log informa (não há referência a gravidade ou tag:

Message: Rule execution error - PCRE limits exceeded (-8): (null).

O código de resultado HTTP para esta entrada é 200 OK.

Estou tentando entender o que os registros nesses registros significam para que eu possa criar algum tipo de relatório. Por exemplo, estou ciente de que, se a seção H da entrada de log indicar:

[severity "CRITICAL"]

Que o ModSecurity bloqueou o pedido de página. Estou correto neste entendimento?

Espero que alguém possa ajudar a esclarecer isso para mim. :)

    

Answer 1

A primeira coisa a verificar é se realmente foi o Bing Bot ou não. É trivialmente fácil imitar seu cabeçalho User-Agent e todo tipo de bot malicioso faz isso o tempo todo. True Bing Bots sempre vem de um endereço IP e tem uma pesquisa inversa para <something>.search.msn.com . Você deve então verificar a pesquisa direta do domínio retornado:

$ dig +short -x 157.55.16.222
msnbot-157-55-16-222.search.msn.com.
$ dig +short msnbot-157-55-16-222.search.msn.com
157.55.16.222

Existem alguns bons conselhos aqui sobre o problema dos limites da PCRE. Veja se você pode rastrear qual regra está causando o problema e ir a partir daí.

[severity "CRITICAL"] não é suficiente para determinar se uma solicitação foi bloqueada ou não. As solicitações podem ser bloqueadas para [severity "NOTICE"] e permitidas para [severity "CRITICAL"] , dependendo de sua configuração e do motivo da gravidade. A string que vejo quando uma solicitação foi bloqueada é Access denied with code 403 (phase 2). (Or sometimes (phase 1). )

Se você puder rastrear a mesma solicitação em seus registros de acesso, poderá verificar o código de retorno para ter certeza absoluta. Você pode fazer isso com o endereço IP e o timestamp (que é um pouco confuso porque um endereço IP pode facilmente fazer mais de uma solicitação em um único segundo) ou, se você tiver mod_unique_id você pode adicionar isso aos seus logs de acesso para que você possa combinar qualquer linha em seus logs mod_security. Para fazer isso, adicione %{UNIQUE_ID}e à sua linha LogFormat .