DISTCP do Hadoop para o AWS s3 Bucket

0

Eu tentei o comando abaixo para transferir o arquivo do hadoop para o AWS

hadoop distcp -Dmapreduce.job.queuename=root.mr.sbg.sla -fs.s3a.proxy.host=qy1prdproxy02.ie.XXX.net  -fs.s3a.proxy.port=80  -fs.s3a.endpoint=s3.us-west-2.amazonaws.com -fs.s3a.aws.credentials.provider="org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider" -fs.s3a.access.key="AXXXA" -fs.s3a.secret.key="NXXXXXXXXXXXXXXt" -fs.s3a.session.token="FQoDYXdzEO///////////wEaDPfU2JdUMXoJHT4AeiKiAuaIkcsgoAG2SL+plpQj3ElPl2uR3wKkpje3khEpOwbIXXXXXXXHJge3RUbdTiuz0Z6+I3KZOdvFJYZwtvwxWVDuA3T98UgHfnguO+EazBY76wNc0acN8nVhFdJRU9mnfsZ/I66eHZKVPqqXlV3j9/1iycPtWeODdqQ8NP2+oZDQndHn2lcG2QNpJ7rhG4ola5BUK8jv8ZZG0a+8e+V2EbIbMyRJ1450eNHKlBwPltT+qAMhocs+fnscGPZo8QUm80gGUqzvBXln2XXXXXXXXXXDOwVgXiGqgrh0cXxv7AFqkVY1IvDS/E0NqseNP49Ip8JUUoqOIFk0nS9sefiEQ7maPs+7zun2/v2KILr2NkF" hdfs://qa/user/dev_tern/RML/TEST.csv  s3a:// import/dcp/ua.1045354/1210393/TEST.csv   

Estou recebendo o erro abaixo

18/11/12 01:40:46 ERROR tools.DistCp: Argumentos inválidos: java.lang.IllegalArgumentException: Listagem do arquivo de origem e caminhos de origem presentes     em org.apache.hadoop.tools.OptionsParser.parseSourceAndTargetPaths (OptionsParser.java:356)     em org.apache.hadoop.tools.OptionsParser.parse (OptionsParser.java:98)     em org.apache.hadoop.tools.DistCp.run (DistCp.java:130)     em org.apache.hadoop.util.ToolRunner.run (ToolRunner.java:70)     em org.apache.hadoop.tools.DistCp.main (DistCp.java:441) Argumentos inválidos: Listagem do arquivo de origem e caminhos de origem presentes uso: distcp OPTIONS [source_path ...]               OPÇÕES  -append Reutilizar dados existentes em arquivos de destino e                                acrescentar novos dados a eles, se possível  -async Deve distcp execução estar bloqueando  -atomic Confirma todas as alterações ou nenhuma

Deixe-me saber onde estou indo errado

    
por Vandhana 12.11.2018 / 10:49

0 respostas