Não é um JAR válido ao executar o exemplo HADOOP

Question

Eu instalei o hadoop-2.4.0 no meu 14.04 LTS,

Eu segui este link , Eu fiz até iniciar e parar serviços com sucesso,

mas quando tentei executar o exemplo,

$ /bin/hadoop jar hadoop*examples*.jar wordcount /user/hduser/gutenberg /user/hduser/gutenberg-output

e estou recebendo resposta,

Not a valid JAR: /hadoop*examples*.jar

EDIT 1

Eu instalei o JAVA 7 (ou seja, o JDK 1.7) e quando usei o Hadoop-1.0.3 ele funciona bem.

Causa do problema quando tento executar com o Hadoop-2.4.0.

OBSERVAÇÃO

De este tutorial meu sistema é diferente o seguinte,

  

1. Estou usando o JAVA 7 em vez do JAVA 6.
  
2. Estou usando o Hadoop 2.4.0 em vez do Hadoop-1.0.3
  
3. Estou usando o Ubuntu 14.04 ao invés do Ubuntu 10.04.
  

E eu posso executar com sucesso o HAdoop-1.0.3 com o JAVA 7 em 14.04.

Minha pergunta porque não posso executar o mesmo para o Hadoop-2.4.0.

    

Answer 1

Eu tive o mesmo problema. Aqui está a solução.

OS - Ubuntu 14.04 de 64 bits
Java - OpenJDK 7
Hadoop - Hadoop 2.4.1

Etapa 1: crie um diretório hdfs para entrada: hadoop dfs -mkdir -p /usr/local/hadoop/input

Passo 2: agora cole o arquivo jar nesta pasta usando o comando hadoop.

hadoop dfs -copyFromLocal /home/hduser/Desktop/sample.txt /usr/local/hadoop/input

Etapa 3: Vá para a pasta $ HADOOP_HOME / share / hadoop / mapreduce no terminal.

cd $HADOOP_HOME/share/hadoop/mapreduce

hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount /usr/local/hadoop/input/sample.txt /usr/local/hadoop/output

Aqui, a pasta / usr / local / hadoop / output será criada. Cada vez que você tem que dar um novo nome.
NOTA: você não pode simplesmente listar as pastas de entrada e saída usando ls no terminal.

Etapa 4: para visualizar a saída, use isto:

hadoop dfs -cat /usr/local/hadoop/output/part-r-00000

    

Answer 2

Eu também estava seguindo o mesmo tutorial e enfrentei o mesmo problema com a minha última instalação (hadoop 2.7.1). Eu tive que mudar isso de

$ /bin/hadoop jar hadoop*examples*.jar wordcount /user/hduser/gutenberg /user/hduser/gutenberg-output

para

$ /bin/hadoop jar ./share/hadoop/mapreduce/hadoop-*-examples*.jar  wordcount /user/hduser/gutenberg /user/hduser/gutenberg-output

    

Answer 3

  

Este tutorial foi testado com as seguintes versões de software:

     

Ubuntu Linux 10.04 LTS (descontinuado: 8.10 LTS, 8.04, 7.10, 7.04)

Não foi atualizado desde 10.04 ~ 2012. Isso é (eu acho que o seu problema).

14.04 e 10.04 funcionam de forma bem diferente ...

  

Sun Java 6

O Sun Java não está mais disponível no Ubuntu , de modo que é provavelmente por isso que ele não está funcionando.

    

Answer 4

Estou usando o hadoop-2.7.2 e, para lidar com esse problema, basta ir ao diretório hadoop-2.7.2 e, em vez de escrever diretamente, hadop*exaples*jar , escreva o seguinte:

share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar