Desativar o alerta de blocos replicados no Cloudera Manager

Question

Eu tenho um cluster Hbase de servidor único que estou usando apenas como finalizador da replicação do HBase. Portanto, não quero replicar nenhum bloco dentro desse cluster (já que a origem replicou os blocos, não sinto que precise deles).

Gostaria de desabilitar o alerta "under replicated blocks" para essa instância. Eu tentei duas coisas:

1. Definir o fator de replicação para essa instância como 1
2. Definir os limites para quantidades impossíveis (ou seja, 200% em blocos replicados). Isso interrompe o alerta, mas o substitui pelos alertas de configuração inválidos.

Alguém sabe como posso desativar esse alerta específico para um cluster?

    

Answer 1

Siga estes dois passos:

1) Altere o fator de replicação do sistema de arquivos hadoop. Certifique-se de fazer login no usuário para o qual você está tendo problemas de integridade de blocos com replicação insuficiente:

su - hdfs
hadoop fs -setrep -R 1 /

ou

su - oozie
hadoop fs -setrep -R 1 /

etc ...

2) Altere o valor Aviso e Crítico para "Limites de Monitoramento de Blocos Sub-replicados" do Cloudera Manager. Para o CDH 5.0.0, vá para:

CM Home > HDFS > Configuração > Em todo o serviço > Monitoramento > Limites de Monitoramento de Blocos Sub-replicados

No CDH 5.0.0, o link padrão é:

http://localhost:7180/cmf/services/17/config?groupParent=config.HDFS.service_17&q=%22Under-replicated+Block+Monitoring+Thresholds%22

    

Answer 2

Na minha experiência, o problema do bloco replicado sob foi solicitado por uma conexão incorreta entre o nó de dados e o namenode. Você pode ter um nó de dados no mesmo host que o nó nome e relata que o hdfs está ok, mas o bloco fica sob replicado porque os outros nós não falam com o nó nome, portanto apenas um nó está ativo e não está replicando. Verifique os logs hdfs de todos os nós de dados para verificar isso antes de tentar cobrir o sintoma com alguma outra correção.