Distcp de hadoop para aws

0

Eu tenho que transferir arquivos do cluster do hadoop para o intervalo do AWS. Abaixo está o comando que estou usando.

hadoop distcp -Dmapreduce.job.queuename=root.mr.sbg.sla -Dfs.s3n.proxy.host=qy1prdproxy02.ie.xxx.net -Dfs.s3n.proxy.port=80 -Dfs.s3n.endpoint=s3.us-west-2.amazonaws.com -fs.s3n.access.key="AxxxxxxA" -fs.s3n.secret.key="N12J6SixMaFHoxxxxxxxxA8Wdary24OXPt" hdfs://qa/user/dev_tern/RML/AWS_TEST.csv s3n://optizely-import/dcp/ua.1045xxxx354/12xxxxx1853

estou recebendo o erro abaixo

18/11/13 00:58:11 ERROR tools.DistCp: Argumentos inválidos: java.lang.IllegalArgumentException: Listagem do arquivo de origem e caminhos de origem presentes     em org.apache.hadoop.tools.OptionsParser.parseSourceAndTargetPaths (OptionsParser.java:356)     em org.apache.hadoop.tools.OptionsParser.parse (OptionsParser.java:98)     em org.apache.hadoop.tools.DistCp.run (DistCp.java:130)     em org.apache.hadoop.util.ToolRunner.run (ToolRunner.java:70)     em org.apache.hadoop.tools.DistCp.main (DistCp.java:441) Argumentos inválidos: Listagem do arquivo de origem e caminhos de origem presentes uso: distcp OPTIONS [source_path ...]               OPÇÕES

    
por Vandhana 13.11.2018 / 10:07

0 respostas