Eu tentei o comando abaixo para transferir o arquivo do hadoop para o AWS
hadoop distcp -Dmapreduce.job.queuename=root.mr.sbg.sla -fs.s3a.proxy.host=qy1prdproxy02.ie.XXX.net -fs.s3a.proxy.port=80 -fs.s3a.endpoint=s3.us-west-2.amazonaws.com -fs.s3a.aws.credentials.provider="org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider" -fs.s3a.access.key="AXXXA" -fs.s3a.secret.key="NXXXXXXXXXXXXXXt" -fs.s3a.session.token="FQoDYXdzEO///////////wEaDPfU2JdUMXoJHT4AeiKiAuaIkcsgoAG2SL+plpQj3ElPl2uR3wKkpje3khEpOwbIXXXXXXXHJge3RUbdTiuz0Z6+I3KZOdvFJYZwtvwxWVDuA3T98UgHfnguO+EazBY76wNc0acN8nVhFdJRU9mnfsZ/I66eHZKVPqqXlV3j9/1iycPtWeODdqQ8NP2+oZDQndHn2lcG2QNpJ7rhG4ola5BUK8jv8ZZG0a+8e+V2EbIbMyRJ1450eNHKlBwPltT+qAMhocs+fnscGPZo8QUm80gGUqzvBXln2XXXXXXXXXXDOwVgXiGqgrh0cXxv7AFqkVY1IvDS/E0NqseNP49Ip8JUUoqOIFk0nS9sefiEQ7maPs+7zun2/v2KILr2NkF" hdfs://qa/user/dev_tern/RML/TEST.csv s3a:// import/dcp/ua.1045354/1210393/TEST.csv
Estou recebendo o erro abaixo
18/11/12 01:40:46 ERROR tools.DistCp: Argumentos inválidos: java.lang.IllegalArgumentException: Listagem do arquivo de origem e caminhos de origem presentes em org.apache.hadoop.tools.OptionsParser.parseSourceAndTargetPaths (OptionsParser.java:356) em org.apache.hadoop.tools.OptionsParser.parse (OptionsParser.java:98) em org.apache.hadoop.tools.DistCp.run (DistCp.java:130) em org.apache.hadoop.util.ToolRunner.run (ToolRunner.java:70) em org.apache.hadoop.tools.DistCp.main (DistCp.java:441) Argumentos inválidos: Listagem do arquivo de origem e caminhos de origem presentes uso: distcp OPTIONS [source_path ...] OPÇÕES -append Reutilizar dados existentes em arquivos de destino e acrescentar novos dados a eles, se possível -async Deve distcp execução estar bloqueando -atomic Confirma todas as alterações ou nenhuma
Deixe-me saber onde estou indo errado
Tags aws java amazon-ec2 hadoop