Existe uma maneira de obter uma lista de máquinas de cluster do Hadoop de um dos nós de dados?

Question

Eu tenho acesso a um nó de dados em um cluster do Hadoop e gostaria de descobrir a identidade dos nós de nome para o mesmo cluster. Existe uma maneira de fazer isso?

    

Answer 1

Você pode ler o arquivo de configuração do datanode, especificamente hdfs-site.xml . Ele listará o namenode ao qual o datanode tentará se conectar.

    

Answer 2

use abaixo do script

#!/bin/bash
date >> list_of_datanodes
bin/hadoop dfsadmin -report > dfsstat.txt
cat dfsstat.txt |grep 'Datanodes available' --color >> list_of_datanodes
cat dfsstat.txt |grep 'Name:' --color >> list_of_datanodes
rm -rf dfsstat.txt