hadoop fs o comando não está funcionando no meu sistema

Question

Eu instalei um único nó de cluster no meu laptop pessoal. Ele foi instalado com sucesso e o jps está exibindo todos os 5 demônios, mas quando tento entrar no hdfs usando o comando hadoop fs , ele mostra "comando não encontrado".

Alguém pode explicar qual é o problema e o que temos que fazer para executar comandos hdfs?

    

Answer 1

vá para o diretório de instalação do hadoop

e digite

bin/hadoop fs -ls /

ele retornará com os diretórios e arquivos disponíveis no HDFS

    

Answer 2

Espero que o blog padrão que você seguiu tenha hadoop instalado aqui: / usr / local / hadoop / bin

ls -l /usr/local/hadoop/bin
root@ashu-700-430qe:/usr/local/hadoop/bin# ls -lrt
total 440
-rwxr-xr-x 1 hduser hadoop   1776 Dec 17 18:52 rcc
-rwxr-xr-x 1 hduser hadoop   7072 Dec 17 18:52 hdfs.cmd
-rwxr-xr-x 1 hduser hadoop  11142 Dec 17 18:52 hdfs
-rwxr-xr-x 1 hduser hadoop   8298 Dec 17 18:52 hadoop.cmd
-rwxr-xr-x 1 hduser hadoop   5479 Dec 17 18:52 hadoop
-rwxr-xr-x 1 hduser hadoop  10895 Dec 17 18:52 yarn.cmd
-rwxr-xr-x 1 hduser hadoop  11380 Dec 17 18:52 yarn
-rwxr-xr-x 1 hduser hadoop 201707 Dec 17 18:52 test-container-executor
-rwxr-xr-x 1 hduser hadoop   5949 Dec 17 18:52 mapred.cmd
-rwxr-xr-x 1 hduser hadoop   5205 Dec 17 18:52 mapred
-rwxr-xr-x 1 hduser hadoop 159223 Dec 17 18:52 container-executor

Se esse não for o caso, descubra onde ele está instalado. Depois de ter encontrado.

Then sudo vi /etc/environment 
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/opt/gradle/bin:/usr/local/hadoop/bin"
JAVA_HOME=/usr/lib/jvm/java-8-oracle
export JAVA_HOME
GRADLE_HOME=/opt/gradle-2.10
export GRADLE_HOME

Em seguida, basta adicionar o diretório hadoop-folder-till-bin-neste arquivo.

then source /etc/environment
echo $PATH

este comando também deve fornecer o caminho do diretório hadoop bin. Agora você pode executar seus comandos hadoop fs regulares agora. Espero que isso ajude.

    

Answer 3

O seguinte comando pode ser necessário:

sudo su hduser

então

hadoop fs -ls /