Criamos um cluster do Hadoop de duas máquinas seguindo estas instruções:
com as máquinas configuradas da seguinte forma:
hadoop1 = master & slave
hadoop2 = slave
Quando iniciamos os serviços ( bin/start-all.sh ), todos os serviços (incluindo datanode para hadoop2 ) são inicializados. Está tudo bem.
Mas quando verificamos o tamanho do DFS ( bin/hadoop dfsadmin -report ), apenas um sistema ( hadoop1 ) é detectado.
Verificamos jps em ambos os hosts. Em hadoop1 , todos os serviços são exibidos, enquanto em hadoop2 apenas jps está em execução. Isso significa que o nó de dados no escravo não está funcionando, embora o mestre mostre que datanode está iniciando em hadoop2 também. Quando verificamos os logs, não há log datanode para o escravo hadoop2 .
Eu tentei todas as explicações possíveis, incluindo o namespaceID, que obtemos do nome de nome atual VERSION e atribuí-lo ao nó de dados atual VERSION.
Qual poderia ser a solução para isso? Eu uso o centOS 7 e o apache hadoop 1.2.1