Eu tive que configurar permissões não apenas no hadoop-data foler como eu pensava, mas na própria pasta do hadoop:
sudo chown -R hadoopuser /home/hadoopuser/hadoop/
Eu tenho a idéia de aqui .
Estou tentando configurar um cluster do Hadoop, em que master é meu laptop e slave é a caixa virtual, seguindo este . Então, eu fiz, do mestre :
gsamaras@gsamaras:/home/hadoopuser/hadoop/sbin$ sudo ./start-dfs.sh
Starting namenodes on [master]
root@master's password:
master: namenode running as process 2911. Stop it first.
root@master's password: root@slave-1's password:
master: datanode running as process 3057. Stop it first.
<I gave password again here>
slave-1: starting datanode, logging to /home/hadoopuser/hadoop/logs/hadoop-root-datanode-gsamaras-VirtualBox.out
Starting secondary namenodes [0.0.0.0]
[email protected]'s password:
0.0.0.0: secondarynamenode running as process 3234. Stop it first.
gsamaras@gsamaras:/home/hadoopuser/hadoop/sbin$ su - hadoopuser
Password:
-su: /home/hduser/hadoop/sbin: No such file or directory
hadoopuser@gsamaras:~$ jps
15845 Jps
E o guia declara: "A saída deste comando deve listar NameNode, SecondaryNameNode, DataNode no nó mestre e DataNode em todos os nós escravos.", Que não parece ser o caso aqui ( faz isso? ) e então Eu verifiquei o log do slave :
cat hadoop-root-datanode-gsamaras-VirtualBox.log
..rver: master/192.168.1.2:54310. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2016-01-24 02:42:14,160 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: master/192.168.1.2:54310
gsamaras@gsamaras-VirtualBox:/home/hadoopuser/hadoop/logs$ ssh master
gsamaras@master's password:
Welcome to Ubuntu 14.04.3..
Os logs no nó mestre parecem sem erros. Note que eu posso fazer um ssh sem senha de mestre para escravo, mas não vice-versa, o guia não menciona algo assim. Alguma idéia por favor ?
Quando executo stop-dfs.sh
, recebo a mensagem errada:
slave-1: no datanode to stop
Agora, eu fiz de novo e entrei no mestre :
gsamaras@gsamaras:/home/hadoopuser/hadoop/sbin$ sudo ./stop-dfs.sh
Stopping namenodes on [master]
root@master's password:
master: no namenode to stop
root@master's password: root@slave-1's password:
master: no datanode to stop
slave-1: stopping datanode
Stopping secondary namenodes [0.0.0.0]
[email protected]'s password:
0.0.0.0: stopping secondarynamenode
gsamaras@gsamaras:/home/hadoopuser/hadoop/sbin$ jps
19048 Jps
gsamaras@gsamaras:/home/hadoopuser/hadoop/sbin$ ps axww | grep hadoop
19277 pts/1 S+ 0:00 grep --color=auto hadoop
gsamaras@gsamaras:/home/hadoopuser/hadoop/sbin$ jps
19278 Jps
e ps axww | grep hadoop
no escravo , deram o processo com o ID 2553.
Eu tive que configurar permissões não apenas no hadoop-data foler como eu pensava, mas na própria pasta do hadoop:
sudo chown -R hadoopuser /home/hadoopuser/hadoop/
Eu tenho a idéia de aqui .