2回答
从S3到HDFS运行s3distcp时：
sudo -u hdfs hadoop jar /usr/lib/hadoop/lib/s3distcp.jar --src s3n://workAAAA-KKKK-logs13/04/04 12:10:52 INFO s3distcp.S3DistCp: Using output path 'hdfs:/tmp/96a8e57b-4c68-406c-b4ca-
浏览 1提问于2013-04-04得票数 5
1回答
命令hadoop distcp --conf test.conf -update -diff test_distcp test_distcp_new hdfs:///tmp/
浏览 16提问于2022-07-29得票数 0
1回答
所以我从下载了然后按照distcp命令运行，但得到了一些错误。不知道我是不是做错了什么 at org.apache.hadoop.tools.DistCp.execute(DistCp.java:155)
at org.apache.hadoop.t
浏览 3提问于2014-11-11得票数 0
回答已采纳
我需要在aws s3和本地hdfs之间复制文件，我尝试使用distcp java api，但它的问题是在System.exit()的末尾，它也停止了我的应用程序，所以如果我有多个文件夹/文件要复制，并且我使用了多个线程，每个线程执行一个distcp命令，完成distcp的第一个线程将停止应用程序，从而停止distcp的其余部分，有没有其他方法可以避免这种情况，我知道我可以编写自己的MR作业来执行复制，但想知道是否有其他选择(args); <-- Distcp command
浏览 7提问于2013-09-06得票数 1
2回答
0,0002 /tmp/data/identifier3/indentifier3-0,0001
我试图使用S3DistCp
浏览 3提问于2015-03-30得票数 5
回答已采纳
1回答
我有一个oozie工作流程，它正在执行distcp操作。工作流文件如下：<start to="distcp-node"/> <distcp xmlns="uri:oozie:<e
浏览 1提问于2016-09-23得票数 0
回答已采纳
通过执行以下命令，我试图使用S3将文件从HDFS复制到distcps3n://testbdr/test2 hdfs://hostname:portnumber/tmp/test 17/09/05 02:59:30 ERROR tools.DistCporg.apache.hadoop
浏览 3提问于2017-09-05得票数 0
回答已采纳
1回答
如何在Java中导入distcp包？我尝试了"org.apache.hadoop" % "hadoop-distcp" % "2.7.1"依赖并使用了import语句，如下所示谢谢
浏览 1提问于2016-07-04得票数 0
(DistCp.java:1386) atorg.apache.hadoop.tools.DistCp$CopyFilesMapper.map(DistCp.java:547) at org.a
浏览 13提问于2013-05-24得票数 1
回答已采纳
我是一个有distcp的新手。我正在使用cloudera仅供参考。https://s3.amazonaws.com/test-development/test/201305031003_0_ubuntu.gz
at org.apache.hadoop.tools.Dis
浏览 3提问于2013-05-04得票数 0
2回答
wuda-notebook/seqaddid"}
2019年-04-12 03:01:23,571 INFO com.amazon.elasticmapreduce.s3distcp.S3DistCpusr/share/aws/emr/s3-dist-cp/lib/s3-dist-cp.jar -src hdfs://seqaddid_ com.amazon.elasticmapreduce.s3distcp.
浏览 0提问于2019-04-12得票数 0
1回答
下面是对伪分布的工作原理下面是我在ec2上的hadoop:///~/hbase13/04/19 09:07:40 INFO tools.DistCp: srcPaths=[hdfs://10.35.53.16:8020&#x
浏览 4提问于2013-04-19得票数 3
回答已采纳
我正在使用hadoop distcp将目录从一个-update集群复制到另一个集群。有时(经常)我会遇到这样的异常：13/07(DistCp.java:1230)
at org.apache.hadoop.tools.DistCp.setup(DistCp.java:111
浏览 1提问于2013-07-03得票数 0
我认为hadoop distcp就是我所需要的。但不起作用。13/07/05 16:13:46 INFO tools.DistCp: srcPaths=[ftp://username:passwd@hostname/s
浏览 5提问于2013-07-08得票数 0
我正在尝试使用distcp命令将数据从一个cdh(CDH4.7.1)集群移动到另一个cdh(cdh5.4.1)集群，如下所示：at org.apache.hadoop.tools.DistCp$CopyFilesMapper.copy(DistCp.java:463)
at org.apache.hadoop.tools.DistCp</e
浏览 6提问于2016-02-19得票数 0
2回答
我很难在AWS集群中找到一种使用S3DistCp的方法。 at com.amazon.external.elasticma
浏览 3提问于2016-09-08得票数 6
回答已采纳
我正在尝试通过REST API调用从spring boot应用程序提交distCP作业。spring版本:1.5.13发布hadoop版本: 2.7.3List<Path> srcPathList = new ArrayList<Path>();tmp/<user>/destination");
D
浏览 5提问于2018-09-27得票数 0
我正尝试在hadoop中使用sftp，如下面所示hadoop distcp -D fs.sftp.credfile=/home/bigsql/cred.prop sftp://<<ip address>>:22/export/home/nz/samplefile hdfs:///user/bigsql/distcp但是我得到了下面的错误15/11/23 13:
浏览 7提问于2015-11-23得票数 1
回答已采纳
我有：
我想通过编程方式在主节点(hadoop distcp)上运行Hadoop实用程序之一。
浏览 0提问于2019-02-25得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
