Como analisar logs do s3?

Question

Como analisar logs do s3?

#1 resposta do (1 votos)

2

Estou tentando analisar os registros do AWS S3 seguindo a documentação , mas Eu tenho me deparado com alguns problemas. Especificamente, continuo correndo em novas linhas de log raras que quebram meu regex. Toda vez que isso acontece, eu modifico o meu regex para dar conta dessas linhas, mas eu realmente gostaria de acertar isso de uma vez por todas.

O desafio é essencialmente que o campo user-agent pode conter caracteres arbitrários, incluindo aspas, aparentemente (eles nem sequer escaparam!). Recentemente, encontrei o seguinte registro, por exemplo:

8b24a6e5b101a6376ebfd307854b8379da11acdc3efc2a2cbbf305b4a2af8de7 -----redacted-bucket-name----- [13/Nov/2015:18:43:39 +0000] 86.3.176.75 - 6AA66FF0D0ACB8BF REST.GET.OBJECT a.gif "GET /-----redacted-path----- HTTP/1.1" 200 - 26 26 18 17 "http://www.waldorfford.com/new/Ford/2015-Ford-Transit+Connect-7f06c8800a0a006400f609b1db0568a3.htm" "Mozilla/5.0 (Linux; Android 5.0.1; Alba 7" Tablet Build/LRX22C) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.76 Safari/537.36" -

Meu analisador analisou com êxito mais de 4,3 milhões de linhas de log antes de bloquear essa gema.

No passado, o analisador também engasgou com esse registro, antes de alterar a parte <referrer> da regex para não ser gananciosa:

8b24a6e5b101a6376ebfd307854b8379da11acdc3efc2a2cbbf305b4a2af8de7 -----redacted-bucket-name----- [26/Sep/2015:12:59:27 +0000] 67.248.97.42 - C5EBC1D929EBBD53 REST.GET.OBJECT a.gif "GET /-----redacted-path----- HTTP/1.1" 200 - 26 26 46 46 "http://www.fiatusaofalbany.com/new-inventory/?year=&make=FIAT&SBmake=FIAT&pid=119682883&adid=292527846&spid=0&sid=905577&channel=display&buytype=",$B$1,"&TR=",$B$2,"&cid=0" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -

Meu parser regex (Python):

log_regex = re.compile(
    r'^'
    r'(?P<owner>\S+) '
    r'(?P<bucket>\S+) '
    r'\[(?P<timestamp>[^\]]+)\] '
    r'(?P<ip_address>\S+) '
    r'(?P<requester>\S+) '
    r'(?P<request_id>\S+) '
    r'(?P<operation>\S+) '
    r'(?P<key>\S+) '
    r'("(?P<request_uri>[^"]+)"|-) '
    r'(?P<status>\S+) '
    r'(?P<error_code>\S+) '
    r'(?P<response_bytes>\S+) '
    r'(?P<object_size>\S+) '
    r'(?P<request_ms>\S+) '
    r'(?P<processing_ms>\S+) '
    r'("(?P<referrer>.+?)" |- )'
    r'("(?P<user_agent>[^"]+)"|-) '
    r'(?P<version_id>\S+)'
    r'$'
)

Estou tomando a abordagem errada? Existem maneiras de melhorar meu regex? Isso tem sido muito frustrante.

regex amazon-s3 log-files logparser

por Collin 23.11.2015 / 16:59

1 resposta

Tags regex amazon-s3 log-files logparser

Como implantar a imagem do VHD no disco físico? Onde posso obter o libcgroup e o policycoreutils-python no CentOS7?

score 1 · Answer 1

Por enquanto eu resolvi isso.

log_regex = re.compile(
    r'^'
    r'(?P<owner>\S+) '
    r'(?P<bucket>\S+) '
    r'\[(?P<timestamp>[^\]]+)\] '
    r'(?P<ip_address>\S+) '
    r'(?P<requester>\S+) '
    r'(?P<request_id>\S+) '
    r'(?P<operation>\S+) '
    r'(?P<key>\S+) '
    r'("(?P<request_uri>[^"]+)"|-) '
    r'(?P<status>\S+) '
    r'(?P<error_code>\S+) '
    r'(?P<response_bytes>\S+) '
    r'(?P<object_size>\S+) '
    r'(?P<request_ms>\S+) '
    r'(?P<processing_ms>\S+) '
    r'("(?P<referrer>.+?)"|-) '
    r'("(?P<user_agent>.+?)"|-) '
    r'(?P<version_id>\S+)'
    r'$'
)