Modo independente do Elasticsearch com dados de rejeição do logstash após cinco dias

Question

Eu uso o Logstash e o Elasticsearch para armazenar e analisar logs de squid. O tamanho dos logs aumenta à velocidade de 40Gb por dia em nosso sistema de armazenamento freeBSD ZFS. o Elasticsearch entra em falha a cada cinco dias e nenhum registro pode ser escrito posteriormente.

E eu tentei

index.number_of_shards: 1
index.number_of_replicas: 0

Mas parece não usar.

anexado é o instantâneo da cabeça dos plugues

Alguém pode explicar o que estou fazendo errado? E qual configuração devo modificar?

UPDATE

O log

[2013-12-08 19: 51: 16,916] [WARN] [index.engine.robin] [David Cannon] [logstash-2013.12.08] [0] falha no mecanismo java.lang.OutOfMemoryError: Espaço de heap Java

[2013-12-09 17: 03: 07,500] [DEBUG] [action.admin.cluster.node.info] [David Cannon] falhou ao executar no nó [sSoHeIz5TSG8fR3IRHj_Pg] org.elasticsearch.transport.RemoteTransportException: Falha ao desserializar a resposta do tipo [org.elasticsearch.action.admin.cluster.node.info.NodeInfo] Causado por: org.elasticsearch.transport.TransportSerializationException: falha ao desserializar a resposta do tipo [org.elasticsearch.action.admin.cluster.node.info.NodeInfo]

    

Answer 1

Eu já vi isso antes, e tudo tem a ver com a quantidade de Heap Space alocada para o Logstash pela JVM.

Você pode tentar aumentar isso fornecendo este sinalizador -XX:MaxHeapSize=256m para a JVM ao iniciá-lo, exceto que você provavelmente deveria tentar configurar o MaxHeapSize para algo como 512m ou até maior.

O Elasticsearch vem com alguns padrões bastante sensatos, mas é possível fazer um ajuste ainda maior , definindo o tamanho de seu heap e assim por diante para pesquisar.

ES e Logstash podem ser dimensionados para bilhões de eventos e muitos terabytes de dados de registro, com cuidadoso configuração .