Muitas vezes, tenho arquivos de log redundantes mais longos, redundantes no sentido de que os blocos de texto se repetem com pequenas alterações. O comprimento dos arquivos dificulta a localização da informação real. Eu tive a idéia de escrever um script que identifica as recorrências e reduz o arquivo, substituindo cada recorrência pela saída do diff para blocos consecutivos. Antes de começar, gostaria de saber se essa ferramenta (ou talvez a opção para diff) já existe.
Você provavelmente gostará de dar uma olhada na abordagem Drench do usuário para um problema semelhante, em uma resposta que ele deu neste mesmo site: link (ou seja, usando git . Permitindo armazenar apenas os diffs, recuperar qualquer versão no tempo, etc. E ele dá um link para um blog com informações adicionais sobre prós / contras / advertências)
Você principalmente pesquisa em arquivos de log, e cortar as informações que podem ser necessárias não é uma boa ideia. Dito isso, existem ferramentas como logrotate , que gira os arquivos de log depois de algum tempo (digamos mensalmente), e perguntando ao Google em "busca de arquivo de log unix" dá cerca de 5 milhões de acessos (sim, essa é uma tarefa comum).
Tags diff text logs shell shell-script