Estou tentando fazer upload de arquivos para um diretório que fiz no HDFS, mas não consigo fazer isso porque o ubuntu não consegue localizar os arquivos na minha máquina. O diretório 'states' (um que estou tentando enviar) contém 50 arquivos txt, está na minha pasta de download (caminho: / home / shradha / Downloads). Eu estou tentando fazer o upload desses arquivos na minha instância ec2 hadoop em hdfs / states (eu já criei hdfs e estados). Eu li em algum lugar que apenas os arquivos na pasta tmp podem ser movidos, então eu mudei o diretório que eu quero enviar para a pasta hdfs to tmp ainda sem sorte, acredito que tenha algo a ver com o hduser .
Abaixo estão os comandos que experimentei:
hduser@ip-172-31-18-210:~/hadoop-2.7.2$ bin/hadoop fs -put /shradha/Downloads/states /hdfs/states
put: '/shradha/Downloads/states': No such file or directory
hduser@ip-172-31-18-210:~/hadoop-2.7.2$ bin/hadoop fs -copyFromLocal /usr/local/tmp/states /hdfs/states
copyFromLocal: '/usr/local/tmp/states': No such file or directory
Você diz que seus arquivos locais estão em (caminho: / home / shradha / Downloads), mas você está tentando fazer upload / shradha / Downloads.
verifique a existência do diretório local:
ls -al /home/shradha/Downloads/states
se você puder listar os arquivos, é bom ir:
bin/hadoop fs -put /home/shradha/Downloads/states /hdfs/states