Você pode configurar a opção de entrega de registros para enviar seus registros no formato "Combinado". Então você pode usar qualquer ferramenta padrão de sua escolha (como awstats ou similar).
Estou pesquisando os logs da Akamai, baixando planilhas do Excel e juntando-as manualmente para que eu possa classificar os dados para localizar os principais vídeos e referências. Há alguma ferramenta que você conheça para ajudar nesse tipo de processamento? Estou procurando algo como o Urchin costumava ser para os logs do Apache, mas para os logs da Akamai.
Você pode configurar a opção de entrega de registros para enviar seus registros no formato "Combinado". Então você pode usar qualquer ferramenta padrão de sua escolha (como awstats ou similar).
Confira a Sumo Logic, que oferece uma integração de nuvem para nuvem com a Akamai, com conteúdo rico pronto para uso, utilizando o monitor de nuvem. A configuração é fácil, e você não precisa se preocupar com o download / processamento em lote de qualquer coisa no local.
Disclaimer- eu sou um empregado Sumo.
Eu só uso uma tonelada de awk , sort e uniq -c ao fazer coisas como essa.
Perl pode ser ótimo para repetibilidade, mas tenha cuidado, ao lidar com grandes conjuntos de dados (recentemente tenho jogado com dumps BGP de um roteador DFZ) é muito fácil de empurrar até mesmo um grande máquina em troca se você vazar alguma memória.
Ferramentas como o Splunk etc. parecem ser boas para coisas ad-hoc onde um simples cachimbo unix pode não funcionar, mas não parece ser uma boa solução para relatórios permanentes.
Você poderia simplesmente usar Awstats ou similar, a maioria das ferramentas de processamento de registro da web pode ser instruída a usar um formato de entrada diferente.