hadoop: porta aparece aberta localmente, mas não remotamente

Question

Sou novo no linux e no hadoop e estou com o mesmo problema que em esta pergunta. Acho que entendo o que está causando isso, mas não sei como resolvê-lo (não sei o que eles querem dizer com "Edite o arquivo de configuração do servidor do Hadoop para que ele inclua o endereço da NIC"). A outra postagem que eles mencionam diz que os arquivos de configuração devem se referir ao nome do host acessível externamente da máquina. Acho que entendi direito, pois cada arquivo de configuração do hadoop se refere ao "mestre" e o arquivo etc / hosts lista o mestre pelo seu endereço IP privado. Como posso resolver isso?

Editar: tenho 5 nós: master , slavec , slaved , slavee e slavef todos executando debian. Este é o arquivo hosts em master :

127.0.0.1       master
10.0.1.201      slavec
10.0.1.202      slaved
10.0.1.203      slavee
10.0.1.204      slavef

este é o arquivo hosts em slavec (parece semelhante nos outros escravos):

10.0.1.200      master
127.0.0.1       slavec
10.0.1.202      slaved
10.0.1.203      slavee
10.0.1.204      slavef

o arquivo mestre em master :

master

o arquivo slaves em master :

master
slavec
slaved
slavee
slavef

o arquivo mestres e escravos em slavex tem apenas uma linha: slavex

    

Answer 1

Primeiro, este é um ótimo tutorial para começar no Hadoop: link

Em segundo lugar, analisando seu ambiente, parece que os arquivos / etc / hosts, "master" e "slave" estão mal configurados. Você pode configurar um arquivo "hosts" e compartilhá-los com todos os nós. Do seu cenário, deveria ser assim:

127.0.0.1      localhost
10.0.1.200      master
10.0.1.201      slavec
10.0.1.202      slaved
10.0.1.203      slavee
10.0.1.204      slavef

Terceiro, os arquivos "master" e "slaves" devem ser configurados somente no nó "master". O primeiro arquivo tem apenas o servidor que executará o JobTracker e o NameNode, o segundo arquivo possui todos os servidores que executarão o TaskTracker e o DataNode.