我在一个包含1000000个整数的数据集上尝试一个简单的reduce函数，这就是我要做的，a = (x for x in range(1,1000000))问题是，这需要花费很多时间！有没有更快的方法来实现这种大小的数据集？
浏览 9提问于2017-03-02得票数 2
我正在使用减()方法迭代大型数据集。我正在尝试计算数据集中的所有名称，并将每个名称作为一个具有总数的对象返回。 let t=0;
if (beer in allBeers) {
浏览 1提问于2017-03-24得票数 0
回答已采纳
我正在使用python中的MongoEngine map_reduce功能。我找不到关于如何为MongoEngine map_reduce函数指定类似参数的说明。该函数的文档可以在<
浏览 3提问于2012-08-07得票数 0
回答已采纳
我想知道普通数组与JuliaDB或DataFrame在对大型数据集(大型但仍然适合内存)上的计算性能是否存在差异？我可以使用简单的数组和算法来进行排序、分组、缩减等等，那么为什么我需要JuliaDB或DataFrame呢？我有点理解Python为什么需要Pandas --因为它将缓慢的python转化为快速C，但是为什么Julia需要JuliaDB或DataFrame -- Julia已经快了。
浏览 0提问于2018-03-26得票数 10
回答已采纳
如果我在Python中缩减一个集合，那么获取集合其余部分(未访问的项)的最有效方法是什么？我经常需要对一个集合进行缩减，但我希望我的reduce函数接受我要对其进行缩减的集合中未访问的项。编辑-为了澄清，我想要的东西如下：其中，rest是我的lambda
浏览 0提问于2012-11-14得票数 0
回答已采纳
我在自学MPI。我正在阅读关于reduce和scan的Python文档：
reduce和scan似乎都采用了一些函数(op)，并使用它将从各个进程获得的值缩减为单个值。reduce和scan有什么不同？
浏览 4提问于2012-10-19得票数 2
回答已采纳
在python中，我使用的是mincemeat map-reduce框架。从我的map函数中，我想要在一个循环中缩减，这将把输出发送到yield (k,v)函数(给定的样本数据是我的map函数的输出)在<
浏览 3提问于2013-05-01得票数 4
我正在尝试使用map/reduce来理解一个行为。下面是map函数： var klass = this.error_class;和reduce函数： var results = { count : 0, klass: { foo: 'bar' } };
values.forE
浏览 0提问于2012-09-22得票数 4
回答已采纳
1回答
度量收集和分析体系结构
、、、、
首先，不需要存储所有数据，因为用户只需要指定时间段的图表，因此需要一些聚合。什么样的数据库解决方案适合它？我相信没有RDMS会处理这么多的数据。那么，如何获取度量的平均数据来将其呈现给最终用户呢？AWS具有共享的时间序列数据处理架构：
很简单，我是这样想的：
度量标准每24小时存储在一个表中。在一天结束时，一些过程运行在上，并生成准备好的JSON文件，
浏览 0提问于2018-11-26得票数 1
我有一个RDD，想要根据多列分组数据。对于大型数据集spark无法使用combineByKey、groupByKey、reduceByKey和aggregateByKey工作，这些都会产生堆空间错误。你能给出另一种使用Scala的API解决这个问题的方法吗？
浏览 0提问于2015-12-07得票数 0
1回答
我试图找到数据帧的相关系数，并完美地工作。 使用cor()从数据帧中查找相关系数是否存在问题，或者实现此代码对于大数据是否很好？length(data)] = lapply(data[,1:length(data)], as.numeric) cc.reducemake.input.format("csv",sep=",",fill = TRU
浏览 13提问于2019-09-30得票数 0
2回答
我希望了解如何使用map和reduce函数在PySpark RDD中确定每个RDD列中的最小值。
我知道agg函数可以用于数据格式，但我真的希望能够在大型数据集上并行执行该函数。例如，在下面的RDD示例中，我希望在Value 1和Value 2列中找到最小的值。
浏览 7提问于2022-01-16得票数 0
1回答
t-SNE算法中维数的选择
、、、、
对于主成分分析，我们可以看到variance_score，并说明每个主成分中包含了多少百分比的原始数据方差。有了这些方差得分，我们可以绘制弯头图，并确定可视化数据的维度。有没有办法确定t-SNE中的维数？
浏览 20提问于2020-06-19得票数 0
3回答
我正在抓取不同的行业数据，并将数据存储到单个hbase表中。例如，我正在抓取电子和计算机行业，并将其存储在一个名为‘industries _tbl’的表中。现在，我想在电子和计算机行业的数据集上运行map reduce，并使用收集的不同数据集生成减速器输出，但目前hbase正在获取这两个行业的全部数据，并给出我无法按行业区分的缩减结果。
浏览 3提问于2011-12-30得票数 0
1回答
我正在通过迭代日志收集事件的以下数据：Event_codetest', time_diff='5'
Event_code = 'AA1', other_data='test', more_data='test', time_diff='9&#
浏览 1提问于2013-11-18得票数 0
1回答
如果我想在MXNet的SparkR中使用一个标准的R包，这有可能吗？标准CRAN包是否可以在星火分布式环境中使用，而无需考虑本地和星火数据的关系。在R和Spark中使用大型数据集的策略是使用standard，降低dataframe，然后将其转换为本地data.frame来使用标准的CRAN包吗？还有什么我不知道的策略吗？
谢谢
浏览 6提问于2016-11-30得票数 3
回答已采纳
这些设备中的每一个都具有或更多标签。我想为每个操作符创建一个唯一的标签列表。我希望输出是这样的 Operator2 -> Tags: [tag_1,tag_2,tag_3,tag_4]
如何使用视图(map reduce)执行此操作？我能够使用下面的映射器发出文档。
浏览 1提问于2015-01-30得票数 1
1回答
假设我有两个数据集：bye worldhello earth我想运行一个map-reduce任务，它没有指定mapper类或reducer类，因此将调用默认的mapper和reducer -这两个都是标识函数。我只使用了默认的映射器和缩减程序，因为我注释掉了main() :：// job.setCombinerCl
浏览 2提问于2013-10-26得票数 0
我通过Python mrjob模块在Map Reduce作业中使用了映射器内组合。因为我编写了一个发出单个键-值对的mapper_final函数，所以我确信只有一个键-值对被发送到我的缩减程序。然而，我的reduce函数是错误的： '''
Calculates the final value.该列表中应该只有一对
浏览 4提问于2012-09-24得票数 1
回答已采纳
我刚接触Python，
有人知道Python (和函数式语言)函数、map() / reduce()和分布式计算相关的MapReduce概念之间的关系吗？
浏览 2提问于2011-11-14得票数 6
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
云直播
实时音视频活动推荐
腾讯云开发者
