Quão bem o elasticsearch comprime os dados?

Question

Estou procurando escopo dos servidores necessários para uma prova de conceito de elasticsearch.

Por fim, minha pergunta é a seguinte:

Considerando 1GB de texto json indexado por elasticsearch, quanto posso esperar para ser ocupado no disco por elasticsearch?

Obviamente, existem muitas variáveis, mas eu estou indo para ordens de magnitude. 100MB? 100 GB?

Eu entendo que elasticsearch realiza compressão ( link ), mas eu não sei que tipo de pegada os índices e outras estruturas ocupam.

As respostas anedóticas são aceitáveis, mas, por favor, deixe-me saber qual versão você está usando.

    

Answer 1

A resposta é: depende.

Uma postagem no blog de Adrien Grand, que trabalha no Elasticsearch fiz alguns benchmarking com isso do ponto de vista Lucene. Parece que ele estava recebendo cerca de 2x de melhoria.

Ele também menciona LUCENE-4226 , onde parte desse trabalho de compressão subjacente foi feito. Existem alguns benchmarks listados, comparando os vários algoritmos de compressão testados.

Além disso, com base neste anúncio de divulgação do Elasticsearch 0.19.5 , parece que a compactação no nível da loja é padronizada para LZF, com o Snappy chegando em algum momento no futuro. Observações adicionais mostraram que o suporte experimental Snappy apareceu em 0.19.9