尝试使用hadoop map reduce处理文本以获取词性。没有错误，但map函数仍未提供任何输出。private final static IntWritable one = new IntWritable(1); private Mapcatch (Exception e) {
// TODO Auto-g
浏览 2提问于2017-02-18得票数 0
我在mapReduce应用程序中的Node.js函数中使用日期函数。在下面的map函数中，我首先将ISO日期字符串转换为date对象。然后得到日期的年份，它将用作密钥。预期结果是输出集合中的_id为“2013年”。但实际上，_id是NaN (类型为Double)。
浏览 1提问于2013-03-26得票数 2
我试图在hadoop /reduce(用java，linux内核操作系统编写)中执行以下操作
浏览 7提问于2011-04-09得票数 0
回答已采纳
映射还原命令在mongos上运行：(coll不是切分的)
db.coll.mapReduce(map, reduce, {out: {reduce: "events", "sharded": true}，这导致了两个记录的输出。但是，在两个碎片的postProcessCounts中，输入计数保持为0。同时，尝试在_id上搜索记录不会产生任何结果。在MongoDB的日志文件中，我无法找到与此相关的
浏览 0提问于2013-06-06得票数 11
我有两个例子：reduce="function(obj,prev) {}" )和："function () {""}"
浏览 2提问于2012-01-07得票数 1
回答已采纳
我正在用python写一个map reduce程序。当我使用以下命令运行映射器时，它工作得非常好-但是当我使用下面的命令运行它时，我没有得到所需的输出-
nohup=1000 -Dmapred.reduce.tasks=0 -input /path/sample_reduce.csv -output /path/map
浏览 3提问于2017-05-06得票数 1
3回答
然而，我试图做一个映射和两个减少的工作。
当我尝试使用以下命令运行代码时，只有一个还原器--第一个--正在工作。usr/hdp/2.2.0.0-2041/hadoop-mapreduce/hadoop-streaming.jar -Dmapreduce.job.queuename=user -Dmapreduce.map.memory.mb=4096 -Dmapreduce.map.java.opts=-Xmx3276m -Dmapred.output.compress=false -file map
浏览 2提问于2015-07-14得票数 0
回答已采纳
为了提高我对大数据处理技术的理解，我一直在阅读地图/还原技术，但我对以下几点还不太清楚：
在巨大的数据集上操作时，map函数不是仍然很慢吗?比如说，10个工作人员/线程/机器/cpus/什么的？例如，如果数据集是10亿条记录，这意味着每个工作人员仍然需要迭代超过1亿条记录，而且转换仍然需要存储在某个地方，以便将数据因子上的processing.How do索引存储到映射/减少方案(如果有的话)作为一个额外的问题，我想要做的是在一个数据集上生成一个实时(<10
浏览 2提问于2012-02-21得票数 0
回答已采纳
场景如下：
假设我的输入记录是A、B和C类型，我正在处理这些记录，并相应地在map函数中为output.collect生成键和值。但同时，我还在mapper类中声明了3个静态int变量，以保持记录A、B和C类型的计数。现在，这些变量将由不同的映射线程更新。当所有的map任务完成后，我想将这三个值传递给Reduce函数。我尝试覆盖close()方法，但它会在每个map函数执行后调用，而不是在所有map
浏览 0提问于2013-01-07得票数 1
回答已采纳
yarn.scheduler.maximum-allocation-mb</name> </property>
但是，我仍然偶尔会收到以下错误然而，我并不总是希望为我的容器分配4 go，我认为通过显式地指定最大大小，我可以绕过这个问题。我意识到Hadoop无法在映射器运行之前计算出它需要为容器分配多少内存，那么，如果容器需要额外的内存，我应该如何为容器分配更多的内存呢？
浏览 1提问于2013-12-27得票数 11
回答已采纳
我注意到传递给这些函数的函数中的任何错误都会被忽略，并导致返回的DynamicFrame为空。show方法也不会产生任何输出，这意味着所有行都消失了。
同样，当我将此脚本保存为AWS Glue控制台中的作业并运行它时，作业并不表示发生了任何错误--作业状态“成功”。特别要注意的是，我确实将print语句和logging.error调用输出到作业日志，但只在常规的“日志”中，而不是在“错误日志”中。是否有一种方
浏览 1提问于2018-05-23得票数 7
回答已采纳
我实现了一个简单的map/reduce程序来创建倒排索引(我的小型搜索引擎的一部分)。每件事都运行得很好。但是当我将输入文件大小放大到超过20MB(对于测试来说仍然是小文件)时，输出文件将是空的。奇怪的是，没有任何例外。这是我的日志：SEInvertedIndex Program starts!...0% reduce</em
浏览 9提问于2012-10-28得票数 2
回答已采纳
1回答
我运行了一个map reduce程序来读取HDFS文件，如下所示：for line in sys.stdin: object = json.loads(line)
但HDFS的所有者将文
浏览 0提问于2015-11-13得票数 1
大约有400条线，大小为5 kb。
对我们来说，映射确实经常变化，我需要找到一种让“正常”用户提供</em
浏览 3提问于2018-01-13得票数 4
回答已采纳
我意识到，这是一个例子，在哪里迭代将提供一个巨大的速度优势比映射，但这不是写这种方式的意义。我想要构建素数向量，然后提供一个映射函数，将标量(它恰好是下一个要测试它是否为素数的)除以已知素数的向量，以返回一个新的模值向量。如果任何模值为零，则它不是素数。我毫不费力地使用make-array创建了一个可调整的集合，但随后我遇到了一个路障：
我想不出如何创建一个地图，这样我就可以通过向量对标量进行操作，并返回一个向量。(
浏览 4提问于2017-04-12得票数 0
回答已采纳
我刚接触Python，
有人知道Python (和函数式语言)函数、map() / reduce()和分布式计算相关的MapReduce概念之间的关系吗？
浏览 2提问于2011-11-14得票数 6
回答已采纳
我有一个应用程序，我想让我的reducers (我有几个用于map/reduce作业)根据要处理的密钥将它们的输出记录到HDFS上的不同文件中。因此，如果reducer看到一个类型为A的键，则应用reduce逻辑，但告诉Hadoop将结果放入属于类型A的hdfs文件中，依此类推。显然，多个减法器可以输出类型A结果的不同部分，每个减法器最终可以处理任何类型，如A或B，但告诉hadoop将结果
浏览 0提问于2012-06-23得票数 0
回答已采纳
3回答
map()方法的通配符泛型
、、、、
这是map()方法的实现： } else { }当我这样称呼mapOptional<String> os1 = Optional.of("Optional String");
Optional<String>
浏览 0提问于2018-12-05得票数 8
回答已采纳
1回答
我正在Hadoop1.1.1 (Ubuntu)上用Java编写一个应用程序，对字符串进行比较，以找到最长的常用子字符串。我已经为小数据集成功地运行了映射和减少阶段。每当我增加输入的大小，我的减少输出就不会出现在我的目标输出目录中。它一点也不抱怨，这使得这一切变得更奇怪。我在Eclipse中运行所有的东西，我有一个映射器和一个减速器。另外，我可以看到，中间文件是在我的输出目录中创建的，只是减少的数据从未被放入输出文件中。
我在下面粘贴了Hadoop<em
浏览 4提问于2013-05-14得票数 0
我被困了几天，因为我想根据我在hive上的查询创建一个自定义的map reduce程序，在googling之后我发现没有太多的例子，我仍然对规则感到困惑。创建我的自定义mapreduce程序的规则是什么，mapper和reducer类如何？有没有人想给我举个例子，解释一下这类东西？
浏览 1提问于2011-05-31得票数 10
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
