Hadoop 2.6 start-dfs.sh erros no Centos 6.7 [fechado]

Question

Eu uso este tutorial para instalar o Hadoop 2.6 em Centos 6.7 com Java 1.8.0_72 e tudo vai bem antes da execução de start-dfs.sh do Hadoop-home / sbin / srart-dfs.sh. Abaixo está a saída:

[hadoop@10 sbin]$  start-dfs.sh
16/02/26 21:47:40 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [localhost]
localhost: /etc/bashrc: line 65: id: command not found
localhost: /etc/bashrc: line 65: id: command not found
localhost: /usr/bin/env: bash: No such file or directory
localhost: /etc/bashrc: line 65: id: command not found
localhost: /etc/bashrc: line 65: id: command not found
localhost: /usr/bin/env: bash: No such file or directory
Starting secondary namenodes [0.0.0.0]
0.0.0.0: /etc/bashrc: line 65: id: command not found
0.0.0.0: /etc/bashrc: line 65: id: command not found
0.0.0.0: /usr/bin/env: bash: No such file or directory
16/02/26 21:47:46 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Parece que há algo errado com o / etv / bashrc @ linha 65. Mas, eu verifiquei e não há nada que eu tenha modificado.

Eu executo o CentOS 6.7 final usando o gerenciador Parallel VM do meu Mac, que é uma máquina de 64 bits.

Obrigado antecipadamente

    

Answer 1

Esta não é a solução para o seu problema, mas aponta para algo que pode realmente ajudá-lo. Pelo menos funcionou no meu caso sem problemas. Alguns meses atrás eu escrevi um blog sobre a instalação do cluster hadoop de nó único no Ubuntu. Você pode consultar este aqui

Eu fiz uso desses dois links para o Hadoop1 (MRv1) link1 link2

E este para o Hadoop2 (MRv2)

link3

Ambas as vezes eu tenho sucesso em termos de executá-las em minhas máquinas destkop do Ubuntu. Você pode consultar esses links para essa finalidade.

    

Answer 2

Obrigado por sugestões. Eu descobri que o problema aparece quando eu começo

  

ssh localhost

então percebi que o PATH em / etc / environment está corrompido. A instrução dada pelo tutorial não funciona para mim sem retoques. Então, eu adicionei todo o caminho abaixo necessário antes de fornecer o caminho jdk. O problema resolveu isso fácil, mas levou 2 dias para eu descobrir.

export PATH=/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/usr/X11/bin:/opt/jdk1.8.0_73/bin:/opt/jdk1.8.0_73/jre/bin

Espero que os outros também possam se beneficiar deste Q & amp; A.

Obrigado