A porta do namenode do Hadoop sendo bloqueada

Question

Eu instalei 7 instâncias de VM de servidores Ubuntu 14.04 LTS. A primeira instância executa o serviço namenode e todos os outros 6 nós executam o serviço datanode. Acredito que o meu NameNode está sendo travado ou bloqueado devido a algum problema. Após a reinicialização, se eu verificar a saída do comando JPS, meu namenode estará em execução. No core-site.xml, a propriedade fs.defaultfs é configurada para hdfs: // instance-1: 8020. mas na porta netstat -tulpn saída 8020 não está lá.

esta é a saída do JPS logo após a reinicialização.

root@instance-1:~# jps
3017 VersionInfo
2613 NameNode
3371 VersionInfo
3313 ResourceManager
3015 Main
2524 QuorumPeerMain
2877 HeadlampServer
1556 Main
3480 Jps
2517 SecondaryNameNode
3171 JobHistoryServer
2790 EventCatcherService
2842 AlertPublisher
2600 Bootstrap
2909 Main

esta é a saída do netstat que eu verifiquei depois do jps.

root@instance-1:~# netstat -tulpn
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      600/rpcbind     
tcp        0      0 0.0.0.0:9010            0.0.0.0:*               LISTEN      2524/java       
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1164/sshd       
tcp        0      0 127.0.0.1:5432          0.0.0.0:*               LISTEN      1158/postgres   
tcp        0      0 127.0.0.1:19001         0.0.0.0:*               LISTEN      1496/python     
tcp        0      0 0.0.0.0:42043           0.0.0.0:*               LISTEN      2524/java       
tcp        0      0 10.240.71.132:9000      0.0.0.0:*               LISTEN      1419/python     
tcp        0      0 0.0.0.0:7432            0.0.0.0:*               LISTEN      1405/postgres   
tcp6       0      0 :::111                  :::*                    LISTEN      600/rpcbind     
tcp6       0      0 :::22                   :::*                    LISTEN      1164/sshd       
tcp6       0      0 :::7432                 :::*                    LISTEN      1405/postgres   
udp        0      0 0.0.0.0:68              0.0.0.0:*                           684/dhclient    
udp        0      0 0.0.0.0:111             0.0.0.0:*                           600/rpcbind     
udp        0      0 10.240.71.132:123       0.0.0.0:*                           3323/ntpd       
udp        0      0 127.0.0.1:123           0.0.0.0:*                           3323/ntpd       
udp        0      0 0.0.0.0:123             0.0.0.0:*                           3323/ntpd       
udp        0      0 0.0.0.0:721             0.0.0.0:*                           600/rpcbind     
udp        0      0 0.0.0.0:29611           0.0.0.0:*                           684/dhclient    
udp6       0      0 :::111                  :::*                                600/rpcbind     
udp6       0      0 :::123                  :::*                                3323/ntpd       
udp6       0      0 :::721                  :::*                                600/rpcbind     
udp6       0      0 :::22577                :::*                                684/dhclient  

Como eu disse, não vejo porta 8020. Após um minuto, verifiquei a saída do JPS e o nome do nó desapareceu.

esta é a saída do jps um minuto após a reinicialização.

root@instance-1:~# jps
3794 Main
3313 ResourceManager
3907 EventCatcherService
4325 Jps
2530 RunJar
3082 RunJar
2524 QuorumPeerMain
2656 Bootstrap
2877 HeadlampServer
1556 Main
2517 SecondaryNameNode
3171 JobHistoryServer
2842 AlertPublisher
2600 Bootstrap

Como eu disse namenode não está lá. Eu repeti o processo acima algumas vezes e toda vez que eu obtenho os mesmos resultados, a porta 8020 não está lá e o namenode fica travado. Eu acho que é um problema de firewall, o que você acha?

Obrigado antecipadamente.

    

Answer 1

Você deve verificar primeiro o log daemon do NameNode no diretório $ HADOOP_HOME / logs .

Como motivação,

Durante a inicialização, o NameNode deve concluir determinadas ações antes de poder atender às solicitações do cliente:

1. Read file system metadata from the fsimage file.
2. Read edit logs and apply logged operations to the file system metadata.
3. Write a new checkpoint.
4. Remain in safe mode until a sufficient number of blocks have been reported by datanodes.