Perguntas sobre 'kafka'

Tags
0
respostas

kafka docker - ERRO ao enviar uma mensagem

Eu gostaria de implementar o kafka em um contêiner docker. Eu também uso a instância zookeper oficial para o kafka como contêiner docker. Quando eu quero escrever uma mensagem sobre o terminal, no meu sistema operacional Linux, eu recebo a se...
16.05.2017 / 11:15
1
resposta

Obter o status do cluster do zookeeper

Existe um cli ou alguma linha de comando, que eu posso usar para encontrar o status do cluster zookeeper. Basicamente eu quero saber como membro em cluster ou quais nós estão atuando como um líder. Todos os ponteiros serão úteis. Vi esta q...
06.09.2016 / 08:00
2
respostas

O que é o diretório ideal para mensagens kafka?

O valor padrão de logs.dir=/tmp/kafka-logs em server.properties . Geralmente /tmp é evitado de manter arquivos importantes e estamos armazenando mensagens e deslocamentos! Qualquer motivo específico pelo qual não se pode escolher /va...
27.07.2018 / 13:46
1
resposta

Kafka longo tempo de carga do coordenador e pequenos ISRs

Estou usando o Kafka 0.8.2.1, executando um tópico com 200 partições e RF = 3, com a retenção de log definida para cerca de 1 GB. Um evento desconhecido fez com que o cluster entrasse no estado "carga do coordenador" ou "carga do grupo". Algu...
23.08.2018 / 00:10
2
respostas

Rsyslog. Fila assistida por disco para omkafka

Eu tenho o seguinte pipeline: nginx -> unix_socket -> rsyslog -> omkafka module -> kafka Para o omkafka, estou usando a seguinte configuração: module( load="impstats" interval="10" # how often to generate st...
04.10.2016 / 14:00
1
resposta

Protegendo os terminais da API REST do Kafka

Planejamos usar o Kafka para publicar atualizações para nossos clientes. O plano é usar o tópico dedicado para cada cliente. Para tornar as coisas mais simples para eles, queremos utilizar a API REST. Assim, o usuário1 poderá receber atualizaç...
10.08.2016 / 14:40
1
resposta

Como reequilibrar dados em kafka se os dados forem armazenados persistentemente

Sou novo em kafka e estou preparando para usá-lo para produção. Quais estratégias podem ser usadas para rebalancear o armazenamento de dados se os brokers das partições atuais de um tópico estiverem ficando sem espaço em disco, se mais broker...
02.10.2018 / 09:36
1
resposta

Como executar a exclusão de tópicos em massa em kafka

Temos um cluster Kafka de 3 nós com fator de replicação 3 e um período de retenção de log padrão de 4 dias. Ativamos a criação automática de tópicos e criaremos tópicos para cada uma de nossas tarefas. Quando a tarefa terminar, não precisamos do...
28.05.2018 / 15:15
0
respostas

Qual é o atributo que você precisa especificar para kafka Métrica de offset de início de log?

Eu tenho um ambiente em que o logstash (v6.2.3) está conectando o cluster kafka_2.11 (v.1.1.0) usando a entrada kafka. O que eu quero alcançar é buscar informações de compensação do consumidor usando kafka-consumer-group.sh . No entanto, aca...
10.04.2018 / 07:24
0
respostas

Operação APPEND falhou com o HTTP500?

package org.apache.spark.examples.kafkaToflink; import java.io.ByteArrayOutputStream; import java.io.IOException; import java.io.OutputStream; import java.io.PrintStream; import java.nio.charset.StandardCharsets; import java.util.Properties; im...
20.04.2017 / 08:46