1回答
我正在开发一个从数百万个小文件创建1 Hadoop归档文件的应用程序。我已经用命令行(hadoop archive --archiveName foo.har -p / -r 2 test.txt /)成功地测试了这一点，但我找不到任何资源来以编程方式完成这项工作。你知道如何使用客户端应用程序创建Hadoop归档吗？
浏览 0提问于2017-07-29得票数 1
3回答
这就是我现在运行它的方式(这不起作用)：
hadoop distcp -Dmapred.job.queue.name:root.default .......
浏览 0提问于2015-11-05得票数 7
回答已采纳
尝试使用你的帖子：hadoop jar mongo-hadoop-streaming assembly*.jar -mapper mapper.rb -reducer reducer.rb127.0.0.1/twitter.out
获取以下错误: Exception in thread "main“java.lang.ClassNotFoundException: com.mongodb.hadoop.streaming.MongoStreamJob我编译了jar mongo-<
浏览 3提问于2012-08-04得票数 3
我使用以下命令来归档文件，"hadoop archive -archiveName ravi.har -p /src /dest“这是怎么回事？
浏览 1提问于2014-01-16得票数 2
我可以使用以下命令将mapreduce输出压缩为gzip为hadoop实现zip编解码器会很简单吗？Zip是一个容器，但是我只需要每个归档文件一个文件，所以用CompressionCodec接口创建ZipCodec容易吗？
浏览 2提问于2012-08-16得票数 3
回答已采纳
1回答
我希望将所有文件包装到Hadoop加密区中的单个文件或容器中。hadoop archive -archiveName test.har -p /user/source /user/outputdir
上面的命令将在输出目录中创建一个.har文件。有没有办法可以删除源文件夹中的所有小文件并创建一个归档文件。如果是，如何解压并取回源文件？
浏览 7提问于2017-08-22得票数 0
回答已采纳
org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.conf.C
浏览 0提问于2016-04-08得票数 1
我的hadoop检查看起来如下所示，但我从了解到Apache有自己的ZStandardCodec。本机库检查：
zlib: true /lib/x86_64-linux-gnu/libz.so更新1:根据这个，我更好地理解了消息的含义，即在默认情况下编译Hadoop时不启用zstd，所以可能的解决方案之一显然是使用启用的标志构建它
浏览 8提问于2021-04-14得票数 2
回答已采纳
4回答
我们已经意识到，为Hadoop处理将我们的文件存档为GZip格式并不是一个好主意。GZip是不可分割的，作为参考，下面是我不再重复的问题：
我的问题是: BZip2是允许单个归档文件由Hadoop并行处理的最好的归档压缩吗？
浏览 0提问于2013-02-11得票数 29
回答已采纳
我开发了mr，它可以正确地与运行多个地图任务的文本文件一起工作，但我需要在归档上运行作业。我的选择是bzip2归档。有了这样的档案，我的工作只处理一个地图任务。我尝试用不同的参数编辑mapred-site.xml，但没有成功。
浏览 5提问于2013-01-29得票数 0
我研究了Hadoop，并使用Ruby测试了Hadoop流，看我的MapReduce算法是否可以无错误地工作。 at org.apache.hadoop.mapred.MapTask.run(MapTask.java:
浏览 2提问于2016-07-23得票数 1
我使用Ambari来管理我的hdfs和hadoop/堆栈。
浏览 0提问于2017-10-03得票数 0
我试图从montogdb指令页()为Hadoop1.2.1构建MongoDB连接器，但是我得到了以下错误。值得一提的是，hadoop 1.2.1不包括在支持的版本列表中。我试图安装1.1，但它没有包含在hadoop下载页面或任何镜像中，如果可以为hadoop 1.2.1构建连接器，谁有一个理想的想法？java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:918)
at java.lang.Thread.run(Thread.ja
浏览 3提问于2013-09-04得票数 0
1回答
/package/*' de.jofre.prime.PrimeCalculator";
Hadoop日志在运行应用程序时告诉我：“无法找到或加载主类de.jofre.prime.PrimeCalculator
浏览 4提问于2014-02-17得票数 4
回答已采纳
1回答
我尝试使用SSH连接到EMR主节点，并基于应用程序id跟踪问题，但我不了解YARN命令，所以我在哪里可以获得或找到YARN命令等？
浏览 0提问于2018-05-22得票数 0
嗨，我想知道如何部署一个非jar文件时，我提交我的jar地图减少作业使用hadoop jar ..args..。对于hadoop流，有发送文件的--file选项，对于spark，我们有--files，但是我在文档中找不到这样的选项。
在提交hadoop地图减少作业时，是否可以将非jar文件随jar一起发送？
浏览 3提问于2016-07-14得票数 1
回答已采纳
我是一个学习Hadoop的学生。目前正在处理小文件问题。我想了解Hadoop归档(HAR)的代码。但是我不知道去哪里找源代码呢？马杜
浏览 0提问于2018-10-20得票数 0
回答已采纳
我想了解更多关于这些属性是针对整个集群\每个节点还是两者的组合的详细信息。对于示例spark:spark.executor.instances
浏览 1提问于2019-11-12得票数 1
1回答
数据归档解决方案
、、
我需要实现一个归档数据的过程，在读了一点之后，我读到我可以将所有可归档的数据推送到hadoop，我需要知道的是，有什么方法可以直接使用hadoop从我的后端(codeigniter，cakephp，django
浏览 14提问于2017-03-15得票数 2
云服务器
ICP备案
对象存储
云直播
实时音视频
腾讯云开发者
