Indexando cookies individuais com o Logstash

Question

Estou trabalhando em algumas análises de logs do Apache. Nossos registros capturam os cookies que o navegador comunica e registramos com o pedido. No momento, posso importar essa cadeia longa, mas estou imaginando se existe uma maneira de ter uma matriz de comprimento variável por linha que me permita pesquisar ou executar corolações contra cookies individuais.

Então, com base nessa linha de mensagem

"message" => "x.x.x.x - - [30/Oct/2014:20:05:01 -0400] \"GET /js/plugins/backbone/backbone.modelbinding.min.js HTTP/1.1\" 304 - \"https://www.website.com/view/home\" \"Mozilla/4.0 ( compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET4.0C; .NET4.0E; .NET CLR 3.5.30729; .NET CLR 3.0.30729)\" \"AUSERID=5286; SERVICEID=08130xx; JSESSIONID=xxxx; AgencyUserSession=xxxx; _ga=GA1.2.xxx; __utma=xxx ;" + 304/304 1146/213/0 29420/47188900045680 0/5011 -/-/- \"x.x.x.x|-|-|x.x.x.x\"",

Eu posso analisar o cookie e colocá-lo em seu próprio campo em sua totalidade. No entanto, existe uma maneira de eu dividir os pares de chave / valor e armazená-los em uma matriz associada à entrada da linha de registro?

["auserid"="5286", "serviceid"="08130xx", ... etc.

Obrigado.

    

Answer 1

Você pode usar logstash filtro kv para analisar os cookies.

Se você tiver um campo cookie que contém "AUSERID=5286; SERVICEID=08130xx; JSESSIONID=xxxx; AgencyUserSession=xxxx; _ga=GA1.2.xxx; __utma=xxx;"

você pode escrever no seu logstash.conf algo como:

kv {
    source => "cookie"
    prefix => "cookie_"
    trim => ";"
}

Isso lhe dará campos:

cookie_AUSERID => 5286
cookie_SERVICEID => 08130xx
...

Mas eu prefiro especificar explicitamente os cookies que eu quero converter em campos (alguns sistemas criam muitos cookies que não têm significado para mim, eles apenas poluem os logs):

kv {
    source => "cookie"
    prefix => "cookie_"
    trim => ";"
    include_keys => [ "AUSERID", "SERVICEID" ]
}