Você pode rebalancear o link do cluster, ou se você tiver o gerente de kafka (< um href="https://github.com/yahoo/kafka-manager"> link ) você pode fazer a partir daí.
Sou novo em kafka e estou preparando para usá-lo para produção.
Quais estratégias podem ser usadas para rebalancear o armazenamento de dados se os brokers das partições atuais de um tópico estiverem ficando sem espaço em disco, se mais brokers puderem ser adicionados ao cluster?
Por um exemplo simples, digamos que um tópico tenha 3 partições no início (1 réplica para simplificar o problema) e 3 corretores cada armazenem 1 partição do tópico, e cada uma dessas divisões ocupe 1TB de espaço em disco.
Como posso adicionar mais 3 novos servidores intermediários e alterar o valor da partição do tópico para 6, e acabar com um resultado de rebalanceamento de dados de cada uma das 6 partições ocupa 500 GB de espaço em disco em seu agente?
Eu acho que esse problema é crítico para armazenar grandes quantidades de dados para sempre no cluster do kafka.
Obrigado.
Você pode rebalancear o link do cluster, ou se você tiver o gerente de kafka (< um href="https://github.com/yahoo/kafka-manager"> link ) você pode fazer a partir daí.
Tags kafka