1回答
我正在尝试构建一个回归模型，其中底层特征矩阵非常大( 73K列，418K行)，并且非常稀疏(58M非零值，约占整个矩阵的0.2% )。
浏览 18提问于2020-10-04得票数 2
回答已采纳
我有预测各种事物的500+模型，以及一个由400m+个人和大约5,000个可能的自变量组成的大型数据库。目前，我的评分过程大约需要5天，操作方法是将400m+记录分块成10万人的片段，并旋转n个线程，每个线程都有一个特定的500+模型子集，并以这种方式运行，直到所有模型的所有记录都得分为止。每个线程都是一个Python进程，它提交R代码(即加载一个R .rds模型和相关的数据集转换逻辑)。这个过程耗时太长，容易出错(更多的是它变成的复杂代码网络的一个指标)，代价很高(需要大量的云实例)，并且只允许在R中构建模型</
浏览 0提问于2020-01-21得票数 2
1回答
Pyspark提供了一个很大的可能性，可以通过将模型的交叉验证并行化，简单地用我如何才能实现类似的功能，斯派克的Scala
浏览 1提问于2017-01-05得票数 3
回答已采纳
2回答
我想用Java中的Apache Spark训练逻辑回归模型。作为第一步，我想只训练模型一次，并保存模型参数(截距和系数)。随后，使用保存的模型参数在稍后的时间点进行评分。(ReadWrite.scala:325)
at org.apache.spark.ml.util.MLReadable$class.load(ReadWrite.scala:215)at org.apache.sp
浏览 3提问于2017-12-07得票数 4
1回答
我们正在将在线机器学习线性回归模型从Vowpal Wabbit转换为星火MLLib。Vowpal Wabbit通过训练由链表支持的权重模型来实现任意的稀疏特性，而Spark MLLib则在由固定长度数组支持的权重的MLLib Vector上进行训练。我们传递给模型的特性是任意字符串，而不是类别。Vowpal使用哈希将这些特性映射到1.0的权重值。我们可以在MLLib中执行相同的映射，但仅限于固定长度的数组。在不知道特征空间大小的MLLib中能够
浏览 3提问于2016-02-29得票数 3
回答已采纳
1回答
我正在开发一个功能来将类(例如spark的训练线性回归模型)存储在一个类似map / trie map的实现中，这样我可以在以后需要的时候检索它。我想出了一种在scala中使用序列化/序列化的代码方法，我将类转换为Array[Bytes]，并将其存储到三元映射中，稍后再检索它。我想知道我是否可以跳过转换，直接将spark模型存储到单个triemap中。
浏览 1提问于2018-05-03得票数 0
使用Spark1.6.0 MLLib，我将构建一个模型(如RandomForest)并保存到hdfs，然后可以从hdfs加载随机森林模型来预测，而不使用SparkContext.Now，加载我们可以使用的模型如下：有没有其他不用sc就能加载模型的方法?
浏览 0提问于2017-06-07得票数 3
但是，如果我们想要处理分布的训练数据集，并且说回归算法应该关注整个数据集，那该怎么办呢？由于scikit学习没有与RDD集成，我假设它不允许在整个数据集上运行算法，而只允许在特定的分区上运行该算法。
浏览 3提问于2017-07-24得票数 1
1回答
是否可以使用VertexAI自定义容器模型构建来训练spark/pyspark ML库模型？我在vertex ai文档中找不到任何关于spark模型训练的参考。对于分布式处理模型构建，可用的选项只有PyTorch或TensorFlow。
浏览 30提问于2021-09-03得票数 0
1回答
是否有可能将Spark回归应用于流源？我看到了StreamingLogisticRegressionWithSGD，但是它是针对较老的RDD的，我将它与结构化的流源一起使用。我应该如何在结构化流源上应用回归？
(有点OT)如果我不能使用流API进行回归，我如何才能提交抵消或以批处理的方式来源？(卡夫卡水槽)
浏览 5提问于2018-01-14得票数 1
回答已采纳
我正在跟踪这个页面，以了解SageMaker的分布式培训功能。上面写着：-
SageMaker分布式培训库只能通过TensorFlow、PyTorch和HuggingFace框架的AWS深度学习容器在SageMaker培训平台中使用。这是否意味着我们不能使用SageMaker分布式训练来使用传统的机器学习算法(如线性回归、随机森林或XGBoost )来训练机器学习模型？我有一个用例，其中数据集非常大，和分布式培训可以帮助模型并行和数
浏览 12提问于2022-09-17得票数 -1
我正在和scala合作一个Spark项目。我想训练一个模型，它可以是k_means，gaussian_mixture，逻辑回归，naive_bayes等，但我不能定义一个通用模型作为返回类型。由于这些算法的类型不同，如GaussianMixtureModel，KMeansModel等，我找不到任何逻辑方法来返回这个经过训练的模型。>
val model_logistic_regression = logistic_regress
浏览 0提问于2016-04-16得票数 0
1回答
如何在分布式大数据平台(例如Apache Spark)中训练(拟合)模型，同时在独立计算机(例如JVM)中使用该模型，并尽可能减少依赖性？
我听说过，但我不确定它是否足够。还有Spark 2.0 保存，但我不确定什么是必要的加载和运行这些模型。
浏览 3提问于2016-08-19得票数 0
有没有办法在Spark / MLlib中对任何分类器进行增量分类？我想要的是用新的数据集重新训练现有的模型。新的数据集可以随时出现，我想将其添加到已经训练好的分类器中。
浏览 10提问于2016-08-30得票数 1
1回答
我想像下面的代码一样使用Spark的org.apache.spark.mllib.tree.DecisionTree，但是编译失败。import org.apache.spark.ml.Pipelineval data = sqlContext.read.format("csv&quo
浏览 4提问于2017-05-22得票数 0
我能够训练模型并保存模型(Train.scala)。现在我想使用这个经过训练的模型来预测新数据(Predict.scala)。我是否应该在Train.scala中对Predict.scala文件使用相同的VectorAssembler？因为我在转换后发现了特征数据类型的问题。例如:当我读入训练好的模型并尝试对新的特征化数据进行预测时，我得到了这个错误：[error]
浏览 2提问于2019-08-24得票数 1
apply(RDD.scala:912)at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkCo
浏览 0提问于2016-12-13得票数 1
我有一个火花Dataframe与两个库仑“标签”和“稀疏向量”后，应用Countvectorizer的推文语料库。
在尝试训练随机森林回归模型时，我发现它只接受LabeledPoint类型。有谁知道如何把我的火花DataFrame转换成LabeledPoint吗？
浏览 0提问于2018-06-29得票数 4
回答已采纳
给定一个训练语料库docsWithFeatures，我在Spark (通过Scala )中训练了一个LDA模型，如下所示：val localModel = distLDAModel.toLocalscala> localModel.logPerplexity(docsWithFeat
浏览 1提问于2015-11-15得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
