Hadoop - Erro ao ligar à porta 9000

Question

Estou tentando configurar o Hadoop na AWS por alguns dias agora.

Estou em instâncias novas do Ubuntu EC2 sem nenhum outro software instalado além do Java.

Eu corro estes comandos:

ubuntu@ip-172-30-0-117:/usr/local/hadoop/sbin$ hdfs namenode -format
ubuntu@ip-172-30-0-117:/usr/local/hadoop/sbin$ ./start-dfs.sh

Eu obtenho os seguintes resultados no terminal:

Starting namenodes on [52.90.97.XXX]
52.90.97.XXX: starting namenode, logging to /usr/local/hadoop/logs/hadoop-ubuntu-namenode-ip-172-30-0-117.out
52.90.171.XXX: starting datanode, logging to /usr/local/hadoop/logs/hadoop-ubuntu-datanode-ip-172-30-0-144.out
52.90.150.XXX: starting datanode, logging to /usr/local/hadoop/logs/hadoop-ubuntu-datanode-ip-172-30-0-143.out
52.201.255.XXX: starting datanode, logging to /usr/local/hadoop/logs/hadoop-ubuntu-datanode-ip-172-30-0-142.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-ubuntu-secondarynamenode-ip-172-30-0-117.out
ubuntu@ip-172-30-0-117:/usr/local/hadoop/sbin$

Observe como ele parece ser executado e, em seguida, retorna ao prompt. Quando tento acessar o servidor na porta 50070, não recebo nada.

Depois de pesquisar nos registros, encontrei este erro:

java.net.BindException: Problem binding to [52.90.97.XXX:9000] java.net.BindException: Cannot assign requested address; For more details see:  http://wiki.apache.org/hadoop/BindException

Após o wiki, ele toma nota do EC2 tentando ligar à porta 0.0.0.0. Como posso consertar isso?

Também verifiquei com 'netstat -peant | grep ": 9000" e não há nada na porta 9000.

O que estou perdendo? Estou perplexo com isso agora.

    

Answer 1

Acontece que, se o valor do seu endereço IP do site principal estiver incorreto, você obterá o comportamento descrito acima.

Ao corrigir meus endereços IP em cada um dos nós de dados, consegui corrigir o problema e colocá-lo em funcionamento