Como identificar e corrigir blocos ausentes relatados pelo Ambari para o NameNode?

Question

O Ambari está gerando um alerta NameNode Blocks Health: Total Blocks:[38252543], Missing Blocks:[2] . Nenhuma informação adicional.

Eu executei hdfs fsck / , que está relatando todo o sistema de arquivos como saudável. Eu executei hdfs dfsadmin -report , que relata que há dois blocos ausentes, mas não fornece detalhes.

Como faço para encontrar esses blocos ausentes e corrigi-los?

    

Answer 1

Eu observei um tipo similar de reportar minha configuração hoje (CentOS 7.3, HDP 2.5.3, Ambari 2.4.2).

Os arquivos com blocos ausentes que consegui encontrar via:

hdfs fsck / | grep -i 'miss' 
hdfs fsck / | grep 'miss' | cut -d ":" -f 1
hdfs fsck / | grep 'Under replicated' | cut -d ":" -f 1

e corrigi-los com:

hdfs dfs -setrep 3 <fileName>

    

Answer 2

você pode encontrar no.de blocos corrompidos e ausentes com o comando abaixo

hdfs fsck -list-corruptfileblocks