adicionando nós ao hadoop cluster virtualbox

Question

Estou tentando configurar um cluster mini hadoop com o virtualbox:

arquivo de hosts (arquivo de hosts configurado corretamente):

hadoop@rui-VirtualBox:/home/rui$ cat /etc/hosts | grep 10.
10.0.13.96 hnode1
10.0.13.97 hnode2
10.0.13.98 hnode3
10.0.13.99 hnode4

endereços IP corretamente configurados (eu editei manualmente o arquivo / etc / network / interfaces, e como último você pode ver, eu posso ssh para as outras máquinas)

hadoop@rui-VirtualBox:/home/rui$ ifconfig | grep "inet addr"
          inet addr:10.0.13.96  Bcast:10.0.13.255  Mask:255.255.255.0
          inet addr:127.0.0.1  Mask:255.0.0.0

Autenticação ssh sem senha para todos os nós:

hadoop@rui-VirtualBox:/home/rui$ ssh hnode2
Welcome to Ubuntu 14.04 LTS (GNU/Linux 3.13.0-24-generic x86_64)

 * Documentation:  https://help.ubuntu.com/

365 packages can be updated.
105 updates are security updates.

Last login: Tue Sep 23 10:52:52 2014 from hnode1
hadoop@rui-VirtualBox:~$ exit
logout
Connection to hnode2 closed.
hadoop@rui-VirtualBox:/home/rui$ ssh hnode3
Welcome to Ubuntu 14.04 LTS (GNU/Linux 3.13.0-24-generic x86_64)

 * Documentation:  https://help.ubuntu.com/

365 packages can be updated.
105 updates are security updates.

Last login: Tue Sep 23 10:52:59 2014 from hnode1
hadoop@rui-VirtualBox:~$ exit
logout
Connection to hnode3 closed.
hadoop@rui-VirtualBox:/home/rui$ ssh hnode4
Welcome to Ubuntu 14.04 LTS (GNU/Linux 3.13.0-24-generic x86_64)

 * Documentation:  https://help.ubuntu.com/

365 packages can be updated.
105 updates are security updates.

Last login: Tue Sep 23 10:53:04 2014 from hnode1
hadoop@rui-VirtualBox:~$ exit
logout
Connection to hnode4 closed.

Arquivo de escravos definido como este:

hadoop@rui-VirtualBox:/usr/local/hadoop/hadoop-2.4.1/etc/hadoop$ cat slaves
localhost
hnode2
hnode3
hnode4

O JPS diz que nada está arruinando (no nó principal e nos outros nós)

hadoop@rui-VirtualBox:/home/rui$ cd $HADOOP_PREFIX
hadoop@rui-VirtualBox:/usr/local/hadoop/hadoop-2.4.1$ jps
3283 Jps
hadoop@rui-VirtualBox:/usr/local/hadoop/hadoop-2.4.1$ ssh hnode2
Welcome to Ubuntu 14.04 LTS (GNU/Linux 3.13.0-24-generic x86_64)

 * Documentation:  https://help.ubuntu.com/

365 packages can be updated.
105 updates are security updates.

Last login: Tue Sep 23 10:53:46 2014 from hnode1
hadoop@rui-VirtualBox:~$ jps
1834 Jps
hadoop@rui-VirtualBox:~$ exit
logout
Connection to hnode2 closed.

próximo passo eu inicio o cluster:

hadoop@rui-VirtualBox:/home/rui$ $HADOOP_PREFIX/sbin/start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [localhost]
localhost: starting namenode, logging to /usr/local/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-namenode-rui-VirtualBox.out
localhost: starting datanode, logging to /usr/local/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-datanode-rui-VirtualBox.out
hnode2: starting datanode, logging to /usr/local/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-datanode-rui-VirtualBox.out
hnode3: starting datanode, logging to /usr/local/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-datanode-rui-VirtualBox.out
hnode4: starting datanode, logging to /usr/local/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-datanode-rui-VirtualBox.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-secondarynamenode-rui-VirtualBox.out
starting yarn daemons
starting resourcemanager, logging to /usr/local/hadoop/hadoop-2.4.1/logs/yarn-hadoop-resourcemanager-rui-VirtualBox.out
hnode3: starting nodemanager, logging to /usr/local/hadoop/hadoop-2.4.1/logs/yarn-hadoop-nodemanager-rui-VirtualBox.out
hnode2: starting nodemanager, logging to /usr/local/hadoop/hadoop-2.4.1/logs/yarn-hadoop-nodemanager-rui-VirtualBox.out
hnode4: starting nodemanager, logging to /usr/local/hadoop/hadoop-2.4.1/logs/yarn-hadoop-nodemanager-rui-VirtualBox.out
localhost: starting nodemanager, logging to /usr/local/hadoop/hadoop-2.4.1/logs/yarn-hadoop-nodemanager-rui-VirtualBox.out

e eu faço o JPS e o hadoop parece rodar nos nós mestre e escravo

hadoop@rui-VirtualBox:/home/rui$ jps
2958 DataNode
3282 ResourceManager
3140 SecondaryNameNode
3411 NodeManager
2806 NameNode
3722 Jps
hadoop@rui-VirtualBox:/home/rui$ ssh hnode2
Welcome to Ubuntu 14.04 LTS (GNU/Linux 3.13.0-24-generic x86_64)

 * Documentation:  https://help.ubuntu.com/

365 packages can be updated.
105 updates are security updates.

Last login: Tue Sep 23 11:17:27 2014 from hnode1
hadoop@rui-VirtualBox:~$ jps
2327 Jps
1889 NodeManager
1769 DataNode
hadoop@rui-VirtualBox:~$ exit
logout
Connection to hnode2 closed.

agora quando eu digo ao meu navegador para ir para hhttp: // hnode1: 50070 vejo que só tenho 1 nó vivo

e quando eu digo ao meu navegador para ir para hhttp: // hnode1: 8088 / cluster Eu também tenho um nó disponível.

BTW hhtp: // hnode2: 8088 ou hhttp: // hnode2: 50070 return não é possível conectar a página do navegador.

Bem, eu deveria ter 4 nós, só tenho um. O que estou fazendo errado?

Eu criei uma máquina virtual em funcionamento e então clonei o disco rígido e criei novas máquinas virtuais e dei um endereço IP diferente para cada uma delas. No entanto, eu não re-formatou o hdfs (este é o problema?)

Então, para o nó mestre (hnode1) eu editei o arquivo slaves (isso é suficiente?)

o que estou fazendo de errado?