Eu tenho cerca de 100 66 gigabytes enormes arquivos "log.txt" (log1.txt, log2.txt, log3.txt e assim por diante) que eu preciso procurar por diferentes seqüências de caracteres.
Eu tenho todos os 42.000 strings em um arquivo de texto.
Agora, estou usando o grep ( grep -F -f strings.txt log.txt ), mas demora cerca de 50 minutos para pesquisar um log.txt.
Você conhece uma maneira mais rápida de pesquisar todos os arquivos? Depois de pesquisar todos os 100 arquivos, um novo conjunto de 100 arquivos será gerado para pesquisa.
Correndo o risco de ser acusado de promoção de produtos, mas se esse problema for estrutural (como consumir tempo diariamente), eu recomendaria Elasticsearch .
Como eles fazem isso eu não sei, mas eu recebo arquivos importados diariamente de 80 GB que elásticos retornam respostas em milissegundos .
Isenção de responsabilidade: não estou relacionado a essa empresa, não me beneficie de forma alguma. Apenas um usuário feliz de seus produtos.