O índice Elasticsearch é muito maior que o tamanho real dos logs indexados?

Question

Notei que elasticsearch consumiu mais de 30 GB de espaço em disco durante a noite. Em comparação, o tamanho total de todos os logs que eu queria indexar é de apenas 5 GB ... Bem, nem mesmo isso realmente, provavelmente mais 2,5-3 GB. Existe alguma razão para isso e existe uma maneira de reconfigurá-lo? Estou executando a pilha ELK.

    

Answer 1

Suponho que você tenha muito conteúdo de string. Por padrão, o tipo de string é analisado, o que significa que cada string é dividida em tokens (a partir da minha pequena experiência, descobri que os separadores são "" e "-"), e cada token é indexado.

Leia mais sobre o tipo de string aqui .

Agora você sabe o que deveria estar fazendo. O problema é que algumas ferramentas oferecem muito pouco suporte sobre como as informações são enviadas para o elasticsearch, tornando assim muito difícil, se não impossível, definir o atributo de índice.