1回答
我正在使用python中的Apache Spark API，PySpark (--version 3.0.0)，理想情况下，我希望以分层的方式执行标记数据的交叉验证，因为我的数据非常不平衡！from pyspark.ml.tuning import CrossValidator 在scikit-learn中，这可以通过定义一个StratifiedKFold并将其放在任何网格搜索函数的</em
浏览 23提问于2020-09-01得票数 1
1回答
我正试图在pyspark中对SGD模型执行交叉验证，我正在使用来自pyspark.mllib.regression、ParamGridBuilder和CrossValidator的pyspark.mllib.regression、ParamGridBuilder和CrossValidator的交叉验证，它们都来自pyspark.ml.tuning库。在跟踪了星火网站上的之后，我希望
浏览 2提问于2017-10-30得票数 1
所有规则中错误分类的总和(见树)是2097 (来自895+700+428+74)。但是混淆矩阵是2121 (来自1999+122)。有人能解释一下这种差异吗？数字怎么会不一样呢？
浏览 6提问于2016-08-27得票数 0
交叉验证和测试f1_scores的显著差异的可能原因是什么？我正在执行3倍分层交叉验证，测试f1_score几乎比交叉验证分数少0.15。我怎样才能想出一个更有效的交叉验证策略，使这两个分数更接近？
浏览 0提问于2016-08-30得票数 2
1回答
目前，我正在使用使用sdk构建的azure管道来训练模型。我正试图在我的ml步骤中添加交叉验证。我注意到，您可以在配置autoML时将其添加到参数中。我的数据集由30%标签0和70%标签1组成。我的问题是，在执行交叉验证时，azure autoML是否分层数据？如果不是，在将其传递给autoML之前，我必须自己进行拆分/分层。
浏览 3提问于2022-09-15得票数 0
我想按照插入包的方法对我的随机forrest模型进行特性选择。由于我的数据集只包含大约100个标记样本，而且它是高度不平衡的(这反映了现实生活的平衡)，我需要/想做分层交叉验证。但是，我没有找到任何关于分层交叉验证的rfeControl函数的文档。有没有人知道如果我使用rfeControl函数，是否会创建分层褶皱
ctrl <-
浏览 0提问于2017-04-04得票数 1
回答已采纳
我想在不使用ParamGrid Builder的情况下，在火花放电中进行一种简单的交叉验证。from pyspark.ml.tuning import CrossValidator, ParamGridBuilderlr = LinearReg
浏览 1提问于2018-10-10得票数 2
我正在尝试使用k-折交叉验证来调整在pyspark中生成的回归树。然而，就我目前所见，将pyspark的CrossValidator与pyspark的DecisionTree.trainRegressor结合起来是不可能的。以下是相关代码。DecisionTree.trainRegressor(trainingData, categoricalFeaturesInfo={}, impurity='variance'
浏览 28提问于2019-10-04得票数 0
回答已采纳
我使用Pyspark在数据集上运行线性回归和k重交叉验证。目前我只能确定最佳模型的均方根误差。但我想要在交叉验证中评估的所有模型的平均RMSE。如何在交叉验证中获得所有评估模型的平均RMSE？from pyspark.ml.regression import LinearRegression
from pyspark.ml.ev
浏览 9提问于2018-12-17得票数 2
我正在修改PySpark文档中的一些交叉验证代码，并试图让PySpark告诉我选择了什么模型：from pyspark.mllib.linalg import Vectorsfrom py
浏览 9提问于2016-04-18得票数 36
回答已采纳
% split training/testing setscrossvalind用于执行交叉验证利用这些指标，我们可以分别生成X(trainIdx,:)和X(testIdx,:)的训练数据和测试数据。cvpartition也使用分层和非分层的方法来分割数据，但是它不返回指数。我还没有看到crossvalind是一种分层或非分
浏览 1提问于2018-06-06得票数 1
回答已采纳
1回答
给定一个包含1000个数据样本的样本数据集，假设我想对数据进行预处理以获得10000行数据，因此每一行原始数据将导致10个新的样本。此外，在培训我的模型时，我也希望能够执行交叉验证。评分函数我使用原始数据来计算分数，所以我希望交叉验证评分也能处理原始数据，而不是生成的数据。由于我将生成的数据提供给训练器(我使用的是RandomForestClassifier)，所以我不能依靠交叉验证</em
浏览 2提问于2013-06-03得票数 0
回答已采纳
我想要执行k-折叠交叉验证，使用吡火花来细化参数，我使用的是pyspark.ml。我得到了属性错误。AttributeError: DataFrame对象没有属性“_jdf”from pyspark import SparkConf, SparkContext
from pyspark.ml.classificati
浏览 3提问于2019-04-10得票数 20
2回答
我是新的火花和PySpark数据帧和ML。如何为ML库创建自定义交叉验证。例如，我希望改变训练褶皱形成的方式，例如分层分裂。Grid Searchpredictions.append(cvModel.transform(testingData))
我希望有一个交叉验证类像这样被调用这两个选项对我来说都是很有挑战性的，我试着复制GitHub代码，但是我得到了很多错误，特别是
浏览 2提问于2015-11-04得票数 7
1回答
我有一个高度不平衡的数据集，我想执行二进制分类。 在阅读一些帖子时，我发现sklearn为不平衡数据集提供了class_weight="balanced"。所以，我的分类器代码如下。clf=RandomForestClassifier(random_state = 42, class_weight="balanced") 然后，我使用上面的分类器进行了10折交叉验证，如下所示。new_scores = cross_val_score(clf, X, y, cv=k_fold, n_j
浏览 30提问于2019-03-31得票数 5
回答已采纳
在sklearn的stratify函数中使用train_test_split参数与StratifiedShuffleSplit函数有什么区别？他们不是也这么做吗？
浏览 0提问于2020-04-19得票数 5
回答已采纳
我已经用300 K以上的观测数据对我的不平衡数据集应用了SMOTE。使用分层的K-折叠交叉验证，而不仅仅是普通的K-折叠交叉验证(似乎不太可能，每个K-折叠训练集都会不平衡)，这是否仍然有意义？
浏览 0提问于2021-10-19得票数 0
回答已采纳
经过一些研究，我在MATLAB中找到了两个函数来完成这个任务：
现在，我已经使用cvpartition创建了n个交叉验证子集，以及统计工具箱中的
浏览 8提问于2009-09-03得票数 9
回答已采纳
在使用python3.6和scikitlearn 0.18时，我遇到了一个问题
我使用随机森林进行回归，回归效果很好，但当我试图计算交叉验证时，我遇到了一个问题，即从cross_val_score和train_test_split得到的分数确实不同。或者我的代码中有什么错误？
浏览 15提问于2017-01-26得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
