Notei que elasticsearch consumiu mais de 30 GB de espaço em disco durante a noite. Em comparação, o tamanho total de todos os logs que eu queria indexar é de apenas 5 GB ... Bem, nem mesmo isso realmente, provavelmente mais 2,5-3 GB. Existe alguma razão para isso e existe uma maneira de reconfigurá-lo? Estou executando a pilha ELK.
Você sempre tem algum tipo de sobrecarga quando armazena seus logs no ES porque ES armazena cada linha de seus logs como documento (em json) com informações adicionadas.
Conte suas linhas de log e compare-as com a contagem de documentos em seu índice para descobrir se há talvez um loop ou uma duplicação de dados.
Mostre-nos o seu elasticsearch.yml para obter mais informações e forneça as informações sobre o tipo de registro que você está enviando para o ES.
Você também pode alterar o mapeamento (ou modelo, que gera um mapeamento) para remover o campo _source.
Além disso, o aumento de espaço é mais eficiente em versões mais recentes.
... oh, e você está olhando para o tamanho total (incluindo qualquer réplica)