我正在尝试为数据帧中的大量字符串创建一个bloom过滤器--大约1.2亿。平均每个字符串有20-25个字符，总数据大小超过了1 1GB的默认spark.driver.maxResultSize。我不想更改maxResultSize，因为将来当输入数据的大小增加时，我将不得不再次更改它。在Spark中，有没有什么方法可以让我以小块的形式流式传输数据帧中的数据，并通过调用BloomFilter.putString()来训练</em
浏览 10提问于2017-08-12得票数 0
2回答
用case类连接dataset
、、、、
我正在使用case类将dataframe转换为dataset，该类具有另一个案例类的序列。Byte, city: String, country: String)
现在我有了另一个只有I的字符串数据集我试图在IP数据集上使用布卢姆筛选器来搜索该数据集，但是它效率低下，而且在一般情况下不能很好地工作。我想使用
浏览 6提问于2021-11-19得票数 0
回答已采纳
我可以使用训练数据集构建Spark Kmeans模型。我想让我的模型适应新的数据，所以Spark StreamingKmeans对我来说似乎很棒。然而，似乎星火的StreamingKmeans只能在数据流上进行训练。没有办法用默认的kmeans模型初始化它，在一些静态训练数据上训练，然后随着时间的推移用新的流式输入数据训
浏览 13提问于2016-07-25得票数 0
回答已采纳
val df = spark.read...val bloomFilter = BloomFilter.create(100)
searchers.foreach(bloomFilter.putString(_))df.filter(bloomFilter.m
浏览 0提问于2018-04-16得票数 0
回答已采纳
1回答
由"spark mllib“提供的机器学习算法可以像naive byes，随机森林一样在spark集群上以并行模式运行吗？或者我们需要修改代码？请提供一个并行运行的示例？不确定MLLIB中的并行性是如何工作的(map) -因为每个处理都需要整个训练数据集。计算是否与训练数据的子集并行运行？谢谢
浏览 0提问于2016-03-06得票数 3
1回答
),(5,[0,2,4],[1,1,2]),(2,[1],[2])]PS:当我想让测试数据与功能选择的火车数据相同时
浏览 2提问于2016-03-09得票数 2
回答已采纳
1回答
我使用Spark ML库来解决使用逻辑回归的分类问题。 我已经将输入特征矢量化，并创建了训练数据集和测试数据集。 在拟合模型时，我遇到了无效标签问题。 ? 训练数据集为： 其中我的输入特征为Independent_features，我的目标特征为Category_con。 ?
浏览 13提问于2021-03-20得票数 0
因此，我是machine learning和Spark的新手，并且正在阅读关于Regression的MLlibs文档，特别是LinearRegressionWithSGD at 。这里提供了我到目前为止所理解的信息--代码加载数据，然后形成labeledpoint。然后建立模型，根据训练数据对模型进行评价，并计算出MSE值。现在，让我困惑的是，在正常的machine learning过程中，我们首先将数据划分为训练集和测试集。利用<e
浏览 4提问于2015-09-15得票数 3
回答已采纳
我试图从卡夫卡读取数据使用火花结构化流和预测形式的传入数据。我用的是我用Spark训练的模型。val spark = SparkSession .appName("Spark SQL basic example") .getOrCreatepredict.writeStream .form
浏览 7提问于2017-10-03得票数 2
回答已采纳
1回答
我有一个大数据集(14K科目)和一个小数据集(100个科目)。两者具有相同的数目和相似的特性(20)。它们没有重叠。
我的问题是，我应该在小数据集或大数据集上训练模型吗？如果我
浏览 0提问于2020-12-22得票数 -1
回答已采纳
1回答
我有数据集与.train文件和它的非常大的文件，比如说100MB的文件。我想执行NER来提取组织名称。我使用OpenNLP进行了训练。有没有办法使用openNLP为NER训练大型数据集？你能发布示例代码吗？
当我在谷歌上搜索时，我发现Class和DataIndexer接口可以用来训练大型数据集，但我确实知道如何训练？
浏览 1提问于2012-12-05得票数 1
我有一个非常大的数据集存储在Hadoop (纱线集群)上，我想用它来训练一个支持向量机分类器。从数据集中的每个数据点提取特征，并以格式保存。Spark MLLib可以使用(JavaSparkContext上下文，字符串目录)读取这些文件。每个文件都有一行，其中双精度以换行符结尾。这条线表示要素的值。我可以在某种.join或.union语句中使用.textFile("..&
浏览 0提问于2015-04-29得票数 2
我想使用fasttext训练一些模型，因为它不使用spark，所以它将在我的驱动程序上运行。将同时运行的训练作业的数量非常大，数据的大小也是如此。有没有办法让它在不同的工作者上运行，或者在不同的工作者之间分发？这是最好的方法，还是使用大型单节点集群更好？ 仅供参考，我正在使用Databricks。因此，特定于此的解决方案也是可以的。
浏览 28提问于2021-11-12得票数 2
我用Python训练了一个随机森林算法，并希望用PySpark在一个大数据集上应用它。我首先加载了经过训练的sklearn模型(使用joblib)，将包含这些特性的数据加载到Spark数据框架中，然后添加了一个带有预测的列，该列具有用户定义的函数，如下所示：
def predictClass(不使用Spark )
浏览 6提问于2017-05-31得票数 8
回答已采纳
我在我的项目中使用Spark MLlib。我使用了支持向量机，决策树和随机森林。我已经将数据集分为训练和测试(60%的训练，40%的测试)，并得到了我的结果。我想重复我的工作，但使用交叉验证来分割数据，而不是使用SVM、DT和RF的百分比分割。 我怎么能在Spark上做到这一点呢？我找到了几个使用logistic回归和管道进行拆分的代码，这些代码
浏览 48提问于2019-01-01得票数 1
1回答
我正在尝试使用sparklyr加载一个包含一百万行和1000列的数据集。我在工作中的一个非常大的集群上运行Spark。尽管如此，数据的规模似乎太大了。我尝试了两种不同的方法：1) -将路径放入hdfs - spark_read_csv(spark_context，.csv )
2) -将csv文件作为常规R dataframe读取- s
浏览 2提问于2017-05-30得票数 0
我有几个与使用Java进行实时分析的Apache有关的问题。当Spark应用程序提交时，存储在Cassandra数据库中的数据将通过机器学习算法(支持向量机)加载和处理。当新的数据到达时，在Spark的流扩展过程中，它们被持久化在数据库中，对现有的数据集进行重新训练，并执行支持向量机算法。此进程的输出也存储在数据库中。这些实现不是基于Spark的
浏览 0提问于2014-06-24得票数 7
我使用scikit-learner中的svm模型来预测MNIST中的手写。在处理测试数据时，我只获得了大约11%的准确率。
除了过度拟合之外，我找不到原因。过度拟合对结果有这么大的影响吗？
浏览 9提问于2015-06-30得票数 0
1回答
在我的同事中，我注意到一种奇怪的坚持，就是坚持用70%或80%的数据进行培训，并对其余的数据进行验证。我对此感到好奇的原因是缺乏任何理论推理，而且它带有五倍交叉验证习惯的影响。是否有任何理由选择一个更大的训练集时，试图发现过度拟合在培训期间？换句话说，为什么不使用n^{0.75}进行培训，使用n - n^{0.75}进行验证，如果影响确实来自于从线性建模理论中继承下来的交叉验证实践，正如我在这答案中所建议的那样？我在stats.stackexchang
浏览 0提问于2020-12-28得票数 3
回答已采纳
3回答
我正在尝试使用spark进行分类，特别是使用RandomForestModel。我看了一下spark (RandomForestClassificationExample.scala)的这个例子，但是我需要一种稍微扩展的方法。我需要能够训练一个模型，为将来的使用保留模型，但也能够加载它和进一步的训练。比如，扩展数据集，然后再进行训练。
浏览 7提问于2017-01-03得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
