Perguntas sobre 'kafka'

Tags
1
resposta

Kafka compatível com o recurso Zookeeper 3.5 'Rebalancing Client Connections'

Neste documento link , a funcionalidade de configuração dinâmica é descrita para o Zookeeper 3.5. Existem dois pontos importantes neste documento: Ao alterar a configuração dinâmica de uma instância do Zookeeper, todas as instâncias do Z...
08.06.2017 / 15:33
1
resposta

Escolha o número de partições em Kafka

Eu li a documentação do apache kafka, mas não consegui encontrar um exemplo sobre quantas partições devo usar em qualquer cenário. Por exemplo, digamos que eu tenha 5000 msgs / entradas por minuto, para esta situação, quantas partições eu dev...
05.08.2016 / 17:23
1
resposta

Como ler de volta o plugin collectd e write_kafka

Eu quero usar kafka como uma camada de transporte para collectd . Descobri que há um write_kafka plugin para collectd , que envia todas as métricas coletadas para um tópico kafka . Minha intenção era ter alguns hosts como coletore...
11.02.2017 / 16:26
1
resposta

Executando o Kafka no Kubernetes na AWS

Tenho o seguinte cenário: 3 instâncias de nós espalhadas por 3 zonas de disponibilidade 6 Agentes em execução no StatefulSets com volume externo da AWS para dados do Kafka. Tamanho da instância: m4.2xlarge Volume do EBS: st1 - 500 GiB...
03.10.2017 / 12:45
0
respostas

Kafka usando uma instância distante do Zookeeper?

temos uma instância do Zookeeper existente e queremos construir um cluster Kafka em um local remoto (não no mesmo lado do oceano Atlântico). Podemos usar o Zookeeper existente para nosso novo uso do Kafka? A latência seria um problema? Kafka...
29.04.2016 / 15:22
2
respostas

O que significam os parâmetros MBean em collectd?

Estou usando o JMX para monitorar um cluster do Apache Kafka com o plug-in GenericJMX do collectd. No entanto, não tenho certeza do que alguns dos parâmetros do MBean significam. Particularmente, tenho uma métrica chamada kafka.server:type=B...
25.01.2017 / 12:37
1
resposta

Localização do logfile de Kafka

Apenas para esclarecer algumas coisas: estou falando sobre o arquivo de log do processo que contém as mensagens stdout e stderr. Este é o meu arquivo de unidade do sistema: [Unit] Description=Apache Kafka server Documentation=http://kafka....
11.02.2017 / 01:15
1
resposta

Medições erradas sendo relatadas pelo JMX e coletadas pelo Apache Kafka

Estou usando o JMX para reunir métricas do Apache Kafka e enviar para o Librato, um serviço de visualização e monitoramento, via collectd. O problema é que algumas métricas parecem estar reportando erroneamente. Por exemplo, sem ninguém usar o c...
24.01.2017 / 18:31
2
respostas

Qual é a maneira correta de exportar valores ambientais por meio de um playbook ansible?

Eu escrevi um playbook ansible que deveria instalar uma ferramenta chamada kafkacat. A maioria das tarefas no livro de exercícios funciona, todas exceto uma (a mais importante). Estou compilando a ferramenta a partir do código-fonte e a in...
25.04.2016 / 17:13
1
resposta

Determine o ID de um corretor Kafka do JMX

Dado um broker host / ip existe uma maneira de interrogá-lo para aprender o ID do corretor, além de consultar o ZK? Estou tentando mapear o IP para o ID do agente para monitoramento. O ZK é autenticado e não tenho acesso. De preferência, estou p...
12.07.2018 / 17:49