1回答
我想使用输入格式s3a在MapReduce中处理CommonCrawl WARC文件。 问题是输入行末尾的回车字符被删除，取而代之的是制表符(因为它是默认的分隔符)。 这一切为什么要发生？这是我用来启动MapReduce的代码 time yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-streaming.jar \
-
浏览 39提问于2019-01-19得票数 0
回答已采纳
在为hadoop的各个构建块(HDFS、mapreduce、send )配置所有文件之后，我格式化了namenode并发送以下命令
发布回车后，我输入了火狐浏览器
浏览 0提问于2018-05-13得票数 0
1回答
我希望使用MapReduce对第三个字段(用户)的日志记录次数进行排序，并按每一行的降序排序。换句话说，我希望将结果显示为：user3 2现在我有两个问题：
默认情况下，MapReduce将使用space和回车返回来拆分日志文件，但是我只需要第三次归档的每一行，也就是说，我不关心诸如2011-10-26、06:11:35、210.77.23.12等字段，如何让MapReduce省略它们并获取用户文件？默认情况下，MapReduce将按键而不是值对结果进行排序。如何让
浏览 2提问于2013-12-08得票数 3
回答已采纳
我正在对压缩的.arc文件运行MapReduce任务。与这个类似，我遇到了一些困难，因为Gzip解压是自动运行的(因为文件有.gz扩展名)，但是它导致了换行符/回车符按照Unix文件编码呈现为换行符的问题。
浏览 0提问于2012-03-28得票数 2
回答已采纳
1回答
import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.mapreduce.Mapperimport org.apache.hadoop.io.IntWritable;import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.in
浏览 0提问于2018-03-23得票数 0
1回答
我有一个关于Hive查询执行的问题。
现在，当查询被分发时，整个查询是否被分发到拥有数据的所有节点？还是只将查询的一部分发送到节点？如果是上述情况，那么数据节点处理的用途是什么？
浏览 0提问于2013-07-08得票数 0
2回答
我使用YARN.All在Hadoop2集群的开发环境中执行13个表映射连接，表连接位于左侧，主表.Total编号为15连接连接。在request.Exit代码为143时被ApplicationMaster.Con
浏览 30提问于2016-08-29得票数 2
回答已采纳
mapreduce管道代码似乎没有使用webapp2和ndb，并且需要关闭线程安全。这是否意味着我必须更新代码才能使用webapp2和threadsafe？
浏览 0提问于2013-02-10得票数 1
我希望jar文件能够运行与示例和测试jar相关的hadoop作业。在过去，他们在/usr/lib/hadoop之下，但显然不再是。指针很感激。
浏览 12提问于2013-05-01得票数 7
回答已采纳
1回答
: org.apache.hadoop.mapreduce.counters.LimitExceededException: Too many counter groups: 51 max=50 atorg.apache.hadoop.mapreduce.counters.Limits.checkCounters(Limits.java:97) at org.apache.hadoop.mapreduce.counters.Limits.incrCounters:123) at org.apache.hadoop.mapreduce
浏览 3提问于2015-10-27得票数 1
我使用oozie工作流来运行mapreduce作业。
浏览 0提问于2018-04-16得票数 1
我从许多Hadoop相关页面中发现，在Hadoop2中，许多mapred-site配置不再起作用，而是使用yarn-site.xml。但是如果是这样，为什么还要维护mapred-site.xml呢？
浏览 0提问于2016-05-12得票数 1
1回答
如何在多行变量的每一行加上文本？
、、、、
我打印有值的所有变量 mapreduce.map.java.opts,-Xmx2560m mapreduce.reduce.java.opts,-Xmx2560m如何在每行开头添加单词- type_config因此，输出如下
type_config,mapr
浏览 0提问于2018-02-01得票数 2
回答已采纳
我正在使用Cloud9 ()，并且正在尝试导入MapReduce，但是我收到了"ImportError: No module named MapReduce“。有人可以帮助我吗?#--------------------------------------------------------------------import sys
..
浏览 2提问于2013-05-22得票数 1
回答已采纳
我在mapreduce.yaml中定义了mapreduce作业：- name: JobName input_reader: google.appengine.ext.mapreduce.input_readers.DatastoreInputReader
浏览 2提问于2011-06-03得票数 5
回答已采纳
1回答
</name> </property> <name>mapreduce.inputformat.class</name>
<value>com.google.app
浏览 1提问于2010-09-11得票数 1
回答已采纳
tmp.mr.mapreduce_1289483912_1tmp.mr.mapreduce_1289483919_3tmp.mr.mapreduce_1289483977_5tmp.mr.mapreduce_1289484058_7
tmp.mr.mapreduce_1
浏览 0提问于2010-11-12得票数 6
回答已采纳
1回答
配置大型配置单元导入作业
、、、
我是一个新手，正在尝试获取一个大的(1.25 TB未压缩的) hdfs文件，并将其放入Hive管理表中。它已经在具有任意分区的csv格式(来自sqoop)的HDFS上，我正在将它放入一种更有组织的格式，以便进行查询和连接。我正在使用Tez的HDP 3.0。这是我的hql svcpt_id VARCHAR(20), read_time SMALLINT)
PARTITIONED BY (r
浏览 1提问于2018-09-11得票数 0
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号