Como executar a exclusão de tópicos em massa em kafka

Question

Temos um cluster Kafka de 3 nós com fator de replicação 3 e um período de retenção de log padrão de 4 dias. Ativamos a criação automática de tópicos e criaremos tópicos para cada uma de nossas tarefas. Quando a tarefa terminar, não precisamos do tópico criado para ela. Agora nós temos 2000 tópicos não usados lá no Kafka, podemos executar a eliminação em massa dos tópicos deste 2000 sem desligar nosso cluster? A exclusão de tópicos em massa afeta o desempenho do cluster ?. Se sim, qual é a maneira segura de excluir tópicos indesejados sem desligar o cluster

    

Answer 1

Procure no script kafka-topics da sua pasta de instalação:

Coloque o comando list em uma lista (para que você possa usá-lo posteriormente em seu idioma favorito)

listar tópicos

bin / kafka-topics.sh --zookeeper localhost: 2181 --list

Para cada tópico da lista acima, execute o comando delete:

excluir tópico

bin / kafka-topics.sh --zookeeper localhost: 2181 --delete --topico mytopic

Sim, o desempenho será afetado dependendo de:

• Quantas mensagens você tem em um tópico e, em geral,

• Qual é o tamanho da mensagem

Por favor, tenha cuidado e exclua apenas alguns de cada vez no máximo, depois verifique se o cluster terminou as operações de exclusão depois:)