交叉验证-管道中未应用的定标器方法
交叉验证是一种常用的机器学习技术，用于评估模型的性能和泛化能力。它通过将数据集分为训练集和测试集，重复多次训练模型并评估性能，以得到更准确的模型评估结果。
交叉验证的主要优势包括：
- 减少过拟合：通过多次训练和测试，可以更好地捕捉模型的泛化能力，减少过拟合的风险。
- 提供可靠的性能评估：由于交叉验证基于多次评估结果的平均或统计指标，可以更准确地评估模型的性能。
- 最大程度利用数据：交叉验证通过多次重复利用数据集的不同部分进行训练和测试，最大程度地利用了数据集中的信息。
交叉验证的应用场景包括：
- 模型选择和调参：通过交叉验证可以评估不同参数或不同模型的性能，从而选择最佳的模型或参数组合。
- 特征选择：交叉验证可以评估不同特征子集的性能，帮助选择最具有预测能力的特征组合。
- 模型比较：通过交叉验证可以比较不同模型的性能，帮助选择最适合特定问题的模型。
在腾讯云的机器学习服务中，推荐使用Tencent ML-Express，它是一款全功能的机器学习平台，提供了丰富的机器学习算法和工具，包括交叉验证。您可以通过以下链接了解更多关于Tencent ML-Express的信息：https://cloud.tencent.com/product/ml-express
需要注意的是，管道中未应用的定标器方法与交叉验证并无直接关联，可能是一个特定问题中的术语或方法。
相关·内容
2回答
我使用的是StratifiedKFold，所以我的代码如下所示
def train_model(X,y,X_test,folds,model):
scores=[]
for fold_n, (train_index, valid_index) in enumerate(folds.split(X, y)):
X_train,X_valid = X[train_index],X[valid_index]
y_train,y_valid = y[train_index],y[valid_index]
model.fit
浏览 2提问于2019-11-19得票数 1
回答已采纳
1回答
我有一个4700条记录的数据集，这是一个分类问题。班级比例分别为33 %和67%
几个问题
1)这一比例是否将数据集定性为不平衡？
2)我是否应该进行交叉验证，然后申请(超过/低于或低于抽样)，或者我应该首先通过这些抽样技术平衡我的样本，然后进行交叉验证？
3)为什么倾向分数匹配仅用于医疗保健相关研究，而不用于其他应用？
4)倾向分数匹配与其他ML分类算法有何不同？
浏览 0提问于2019-12-09得票数 1
回答已采纳
1回答
验证集的验证过程-非k次交叉验证
、、、、
我对python和机器学习很陌生，我很难理解验证步骤，我也想对当我不想使用k-折叠交叉验证，而只是使用验证集时，应该做什么有一个建议。我一直在阅读，似乎无法正确理解k-折叠交叉验证：
我是否将初始数据分割成k个折叠，然后在k-1上进行训练，在左1上进行测试，保持向后旋转--所以每个折叠都用于测试等等。
或者我把初始数据分割成列车数据和测试数据，然后将列车数据分割成k个折叠，然后进行交叉验证，然后对未见的测试数据进行准确性测试？
在k-折叠交叉验证过程中如何选择最佳参数？cross_val_score在返回分数列表后，是否在验证步骤中应用最佳参数，在验证步骤中准确性最好？(代码如下)
浏览 2提问于2019-05-23得票数 1
考虑到我的管道
pipe = Pipeline([('scaler', StandardScaler()), ('regressor', LinearRegression())])
然后我调用pipe.fit(X_train, y_train)，管道是将定标器应用于特性和目标，还是只应用于特性？
如果不是，y参数在StandardScaler的fit_transform方法中起什么作用？这些文档确实让人困惑。
对于fit，它说y被忽略了。对于fit_transform，它写着“适合X和y的转换器”。对于transform，它说y是不可取的。
我试着在github
浏览 0提问于2019-03-21得票数 4
回答已采纳
1回答
我有包含绝对值和非绝对值的数据集。我将OneHotEncoder应用于范畴值，StandardScaler应用于连续值。
transformerVectoriser = ColumnTransformer(transformers=[('Vector Cat', OneHotEncoder(handle_unknown = "ignore"), ['A', 'B', 'C']),
('Standa
浏览 0提问于2021-06-10得票数 0
回答已采纳
我看到了一些使用两个不同StandardScaler的实验，如下所示：
scaler_1 = StandardScaler().fit(X_train)
train_sc = scaler_1.transform(X_train)
scaler_2 = StandardScaler().fit(X_test)
test_sc = scaler_2.fit(X_test)
我理解不应该偏倚分类器混合训练/测试数据，但我想知道另一个场景是否正确：
# X_all represents X feature vector before splitting (train + test)
X_scale
浏览 1提问于2020-07-22得票数 3
回答已采纳
1回答
我一直都知道，标准化或规范化只适用于训练集，然后用于转换测试集。所以我要做的是：
scaler = StandardScaler()
scaler.fit_transform(X_train)
scaler.transform(X_test)
现在，如果我要在新数据上使用这个模型，我只需保存“scaler”并将其加载到任何新脚本中。
我有困难，虽然理解这是如何为K折叠简历。这是最好的做法是重新调整和改变每一个折叠的定标器？我可以理解这在构建模型时是如何工作的，但是如果以后我想使用这个模型，该怎么办呢？我应该存哪个定价器？
此外，我想将其扩展到时间序列数据。我明白k-折叠是如何为时间序列工作的，
浏览 5提问于2020-10-15得票数 2
回答已采纳
1回答
KNN算法中的最佳k值
、、、、
因此，我正在学习KNN算法，在那里我学习了交叉验证来寻找k.Now的一个最优值，我想应用网格搜索来获得最优值。我在堆栈溢出上发现了一个回答，其中standardScaler和KNN都被作为估计器传递。
pipe = Pipeline([
('sc', StandardScaler()),
('knn', KNeighborsClassifier(algorithm='brute'))
])
params = {
'knn__n_neighbors': [
浏览 0提问于2020-05-03得票数 0
回答已采纳
我有一个数据集，我分裂成80%-20%的训练和测试集。在训练集上，我做k折交叉验证，得到准确性的平均值。但是，我不清楚该如何将这个结果应用于我的原始测试集？
#Splitting Training & Test dataset
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=1)
#Standartisation scaling
from sklearn.p
浏览 7提问于2022-09-29得票数 0
回答已采纳
阅读以下文章：https://kiwidamien.github.io/how-to-do-cross-validation-when-upsampling-data.html
对于如何使用from imblearn.pipeline import make_pipeline来在不平衡的数据集上执行交叉验证，同时避免内存泄漏进行了解释。
在这里，我复制了本文链接到的笔记本中使用的代码：
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=45)
rf = RandomForestClassifier(n_
浏览 0提问于2022-01-01得票数 0
1回答
ML管道中的去噪
、、
假设我把原始数据分解成火车和测试集。在开始创建新功能之前，我应该先清理它们并对数据集进行去噪吗?还是，我应该为火车和测试集创建新的功能，然后清理/去噪它们？
我希望创建我自己的变形金刚，以便在一个sklearn管道中使用，但我不确定按什么顺序去做事情。
附注：我将执行交叉验证，并希望防止数据泄漏。
浏览 0提问于2022-08-10得票数 0
回答已采纳
在Python中，为了只使用最相关的特性，我应用了SelectPercentile (来自sklearn)，并训练了一个支持向量机分类器。我想提一下，我只有一个语料库，所以我必须在这个语料库上执行cross_validation。
在使用SelectPercentile选择特性之后，当我使用cross_validation时，我得到的分数太高，我认为我做错了什么，但我不知道是什么。我认为X_all矩阵有重复的行或重复的列，但它没有。
我不明白为什么我会得到这样的结果。有人能让我明白引擎盖下面发生了什么，我做错了什么吗？
implementation
只从数据集中提取单词。
使用Pandas创建
浏览 4提问于2016-06-17得票数 1
回答已采纳
1回答
如何将数据采样和分类器管道连接起来？
我想执行所有的分类器的所有抽样技术，并选择最好的表现。我正在执行随机网格搜索，以选择最佳的超级参数。
仅对每个未调优分类器(Logistic回归l1、Logistic回归l2、随机林)执行6种采样技术，然后只对每种抽样技术性能最好的一种分类器进行调优，是否合理？
在我以前的实现中，我发现adasyn在logistic回归中表现最好，所以这是我目前的赢家。我用每一种抽样技术实现了随机森林，并对它们进行了评分，但我想弄清楚如何很好地打包并简化它。
我主要是使用imblearn和sklearn。
我的问题是:如何为超参数、分类和采样构建管道？
尝试1
oss=
浏览 0提问于2018-11-05得票数 1
1回答
随机林进一步改良
、、、、
按照Jason的教程，我开发了自己的随机森林分类器代码。我把它粘贴到下面，我想知道还能做什么改进来提高代码的准确性。
from numpy import mean
from numpy import std
from sklearn.datasets import make_classification
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import RepeatedStratifiedKFold
from sklearn.ensemble import Random
浏览 4提问于2022-03-09得票数 0
回答已采纳
1回答
在使用Scikit Learn进行一些交叉验证时，我遇到了一个问题。我已经构建了一个包含2个元素的管道:一个缩放器和一个回归模型。 我的问题是，我发现我在管道中配置的定标器方法在计算过程中没有被应用(即，考虑在内)。 请检查一下我的笔记本，看看哪里出了问题。这里有个链接：https://colab.research.google.com/drive/1KHqHsDHNkGLj4e0u-EWY9oj00NXeO5u3?usp=sharing 下面是我使用的数据集的链接：https://drive.google.com/file/d/1nyx0BitzxBLQjsAAAxfHt-9SzKqk9d
浏览 16提问于2021-09-07得票数 0
我在我的应用程序中使用谷歌地图。当我使用Eclipse从我的电脑上安装这个应用程序时，Google是正确加载的。现在我把这个应用上传到Google商店以供分发。对于从Play Store安装的应用程序，没有加载Google。有什么问题吗?我错过了哪一步？
编辑1:现在我从发行版keystore获得SHA1指纹。然后我转到Google控制台，使用退出项目和指纹，我创建了新的Android密钥。这个新的API键将被我的旧调试API键替换，然后我再次导出一个新的apk。那个apk被上传到了游戏商店。看来我遵循了所有必要的步骤。但是，地图仍然没有加载，只有白色背景出现。同样的事情发生在这些链接，但没有
浏览 1提问于2013-11-02得票数 3
回答已采纳
1回答
我第一次开始机器学习和尝试Sklearn。我有两个数据，一个有数据来训练一个逻辑回归模型(用10倍交叉验证)，另一个用这个模型预测类('0,1')。到目前为止，我的代码使用了我在Sklearn文档和Web上找到的一些教程：
import pandas as pd
import numpy as np
import sklearn
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import KFold
from sklearn.preprocessing impor
浏览 2提问于2017-11-18得票数 0
回答已采纳
1回答
我对Weka提供的10倍交叉验证与传统的10倍交叉验证之间的区别感到有点困惑，我理解K交叉验证的概念，但从我在Weka中读到的10倍交叉验证的内容来看，有一点不同。
在Weka FIRST中，建立了一个基于所有数据的模型。只有这样，才能进行10倍的交叉验证。在传统的10倍交叉验证中，没有预先建立模型，而是建立了10个模型:每个迭代都有一个模型(如果我错了，请纠正我！)但是如果是这样的话，那么Weka在10倍交叉验证中到底做了什么呢？它是否再次为十个迭代中的每一个创建一个模型，还是使用以前组装的模型。谢谢!
浏览 3提问于2013-08-14得票数 3
回答已采纳
1回答
我有几个微服务，我正在将它们部署到GCP Kubernetes。我正在使用免费的积分并尝试我的部署。我的问题是，当我们定义CPU请求时，是基于我们对它的定义吗？我将其设置为250mCPU，但这会填满我的集群节点，这些节点在CPU中很小。 目前，我有3个具有940mCPU可分配CPU的节点和3个同类节点。现在，我部署了一个具有3个副本的API，并为每个副本分配了250mCPU。对于所有Kubernetes内部项，所有节点几乎都已满。 因此，我的问题是，基于什么，我们可以为服务的CPU赋值。250mCPU是一个随机值。其他人在做什么来找到Kubernetes的最低CPU？我有一个ASP.NET核
浏览 15提问于2020-06-23得票数 2
1回答
我使用了下面的MNIST示例：
我读到了训练和验证方面的损失。我知道验证损失表示验证图像集在经过训练的网络中运行后的错误，但是这个数字的单位是什么？那么这个数字的确切含义是什么呢？
感谢您的帮助！
浏览 0提问于2017-10-24得票数 1
我有下面的管道
num_pipe = make_pipeline(
StandardScaler()
)
cat_pipe = make_pipeline(
OneHotEncoder(handle_unknown="ignore"),
)
preprocessor_tree = make_column_transformer(
(num_pipe, selector(dtype_include="number")),
(cat_pipe, selector(dtype_include="category")),
浏览 6提问于2022-04-19得票数 0
2回答
我以前看到过一个，它的代码如下：
scalar = StandardScaler()
clf = svm.LinearSVC()
pipeline = Pipeline([('transformer', scalar), ('estimator', clf)])
cv = KFold(n_splits=4)
scores = cross_val_score(pipeline, X, y, cv = cv)
我的理解是:当我们应用标度器时，我们应该使用3中的4倍来计算的均值和标准差，然后将均值和标准差应用于所有4倍。
在上面的代码中，我如何知道Sklearn在
浏览 0提问于2020-05-28得票数 1
1回答
特征标准化-多层感知器
、、、
对于多层感知器学习过程之前的特征标准化，我有严重的疑问。
我使用python-3和scikit学习包来实现学习过程和特性的规范化。
正如科学工具包-学习wiki (实用技巧)所建议的那样，我正在用预处理模块进行功能标准化，这意味着我的所有特性都将作为标准的标准规范出现。
问题是，在显示的示例中：
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
# Don't cheat - fit only on training data
scaler.fit(X_train)
X_tr
浏览 0提问于2017-11-15得票数 0
回答已采纳
我有一个具有标准django.contrib.auth后端的Django应用程序，并且有很多现有用户，现在我想使用Python通过Google添加登录。是否有任何方式允许现有用户通过谷歌帐户登录？我应该如何将它与现有用户联系起来？
设置'social_core.pipeline.social_auth.associate_by_email'可以吗？
因此，当用户试图登录使用谷歌帐户，并已经有一个帐户(使用标准注册密码)在我的应用程序，然后将自动登录。我不想允许使用创建新帐户，只允许现有用户通过Google登录。
浏览 0提问于2021-01-12得票数 4
1回答
我正在尝试使用Keras创建一个简单的多层感知器(MLP)。为了避免数据泄漏，我在交叉验证例程中使用管道。
要做到这一点，我必须使用keras包装器；除非我没有将TensorBoard回调放入包装器中，否则一切正常。我阅读了大量的堆栈溢出答案，看起来我的代码是正确的，但是我得到了以下错误：
> RuntimeError: Cannot clone object <tensorflow.python.keras.wrappers.scikit_learn.KerasClassifier object at 0x00000245DD5C2A60>, as the construc
浏览 1提问于2021-03-19得票数 0
回答已采纳
我希望能够基于另一个属性的值来验证元素中的属性。就像这样。
<Root>
<Vehicle type="Unicycle" numWheels="1" />
<Vehicle type="Bicycle" numWheels="2" />
</Root>
要求是，如果车辆类型是‘独轮车’，那么numWheels必须是1。否则我不关心它有多少个轮子。
我有一些类似这样的东西作为类型的起点，我想在其中施加限制。
<!-- Number of Wheels restr
浏览 1提问于2013-05-06得票数 1
给出下面的代码，我试图构建的自定义转换器类--它的目标是通过网格搜索添加几个列和矮小的--本身运行良好，但在通过管道执行时会降低行的维度。也许有人能解释出哪里出了问题，我显然遗漏了一些东西。搜索评论：“这里发生了什么，维度在行中减少了？”在那里我有问题的指纹。执行的完整代码可以在下面找到！
import pandas as pd
import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn import linear_model
from sklearn.base import BaseEsti
浏览 0提问于2018-04-04得票数 1
回答已采纳
我想使用GridSearchCV来确定使用L1正则化的logistic回归中的最佳正则化参数"C“。我还想扩展/标准化我的输入功能。
在执行交叉验证之前，使用单个变换对整个训练数据集进行缩放会导致数据泄漏:在交叉验证中，训练数据集被分为k个折叠，每个折叠被视为验证数据集一次，而其余的则是训练折叠。然而，如果标准化是在对整个训练数据集进行交叉验证之前完成的，则每个折叠(包括验证折叠)将使用从整个训练数据集计算的参数(例如，均值和标准差)进行缩放，因此在某种程度上，训练折叠总是“知道一些”关于验证折叠的信息。
因此，缩放数据的正确方法是分别计算和应用每个交叉验证折叠的缩放(即，在内部训练折
浏览 1提问于2018-03-14得票数 1
1回答
我正在学习R中的plsr，遇到了几个让我困惑的不同的例子。在以下两种方法中，我看到了两种方法来拟合和找到最佳数量的部件。我只想知道哪一种是合适的，哪一种更好？
1)假设我们有一个叫做数据的数据，它被划分为列车数据data.train和测试数据data.test。然后，将plsr安装为
plsr.fit = plsr(formula, data = data.train, validation = "CV", scale = TRUE)
summary(plsr.fit)
然后根据最小的ncomp值求出CV值。
2)不分割任何数据，只需将模型拟合成完整的数据。
plsr(form
浏览 4提问于2017-07-19得票数 0
回答已采纳
这是一个很小的滑雪片段：
logistic = linear_model.LogisticRegression()
pipe = Pipeline(steps=[
('scaler_2', MinMaxScaler()),
('pca', decomposition.NMF(6)),
('logistic', logistic),
])
from sklearn.cross_validation import train_test_split
Xtrain, Xtest, ytrain, ytest
浏览 6提问于2016-08-28得票数 3
回答已采纳
我成功地使用sklearn的多元线性回归训练了我的模型。这是我使用的代码：
import pandas as pd
dataset = pd.read_csv('C:\\mylocation\\myfile.csv')
dataset2 = pd.get_dummies(dataset)
y = dataset.iloc[:, 31:32].values
dataset2.pop('Target')
X = dataset2.iloc[:, :180].values
#Split the dataset
from sklearn.cross_validati
浏览 0提问于2018-12-31得票数 0
回答已采纳
1回答
我有管道：
np.random.seed(42)
tf.random.set_seed(42)
pipeline = Pipeline([
('smote', SMOTE()),
('under',RandomUnderSampler()),
('cl', KerasClassifier(build_fn=create_model, verbose=0))
])
param_grid_pipeline = {
'smote__sampling_strategy':[.3],
's
浏览 3提问于2020-05-04得票数 1
回答已采纳
2回答
我正在使用R中的C5.0在心脏病数据集上做一些分类任务，在大多数情况下，数据将被分成80%用于训练，20%用于测试，我想使用k倍交叉验证(k=10)，但我对这一点感到困惑，正如我们所知道的那样，通过使用10倍交叉验证，我们将整个数据划分为9个训练子集和一个子集进行测试。
是否可以将数据划分为训练数据的80%和测试数据的20%，然后对列车数据进行k倍交叉验证？或者我必须对整个数据集应用k-折叠交叉验证？
浏览 0提问于2017-11-20得票数 3
2回答
我必须训练一个分类器来检测垃圾邮件。
我拥有的数据集.
我手头有一个标有[text, class]标签的电子邮件数据集。我也有很多没有班级标签的电子邮件。
我想做的事。
我想使用gridsearchcv()函数来估计我的模型的最佳超参数。其中一个参数与词典的创建有关(如1克或2克，最小频率等)。我想要gridsearchcv()函数做的是使用整个电子邮件数据集(带有标签的电子邮件+没有标签的电子邮件)，以便CountVectorizer在我的管道中创建字典。但我只想在贴着标签的电子邮件上测试结果。因此，基本上，我想使用整个数据集来创建字典，并且我希望只在标记数据集上使用交叉验证来估计参数。
如
浏览 2提问于2015-02-20得票数 1
回答已采纳
1回答
对于下列哪一项应用于标准化，我感到困惑：
方法1:拟合转换训练数据，只转换来自sklearn.preprocessing导入的测试数据，StandardScaler sc = StandardScaler() X_train = sc.fit_transform(X_train) X_test = sc.transform (X_test)
方法2:从sklearn.preprocessing导入StandardScaler sc = StandardScaler() X_train = sc.fit_transform(X_train) # scaler_train=sc.fit(X_tra
浏览 0提问于2020-09-17得票数 1
1回答
我有一个包含77列的数据集。我使用VectorAssembler将所有值组合在一起，然后使用MinMaxScaler对其进行缩放。缩放器代码：
scaler = MinMaxScaler(inputCol="normalised", outputCol="scaled")
train = scaler.fit(temp_train.select("normalised"))
train = train.transform(temp_train)
我将管道的阶段设置为
stages = []
stages += string_indexer
sta
浏览 85提问于2021-03-01得票数 0
我试着缩放我的数据并训练一个分类器。我当前的数据框架如下所示：
col1 col2 col3 category
---- ---- ---- --------
....
我对分类器管道中的StandardScaler如何影响我的数据感到困惑。以下是我的主要问题：
也会缩放Y_train吗？这在机器学习的上下文中真的重要吗？在预测期间，Scaler会自动缩放X_test吗？如果不是，我如何使用先前计算过的指标来实现这一点？i在缩放和拆分方面缺少了一些基本的东西吗？
医生们有点模棱两可，所以希望有人能澄清这件事。非常感谢!
目前，我的管道如下所示：
classifier = Pipeline(st
浏览 2提问于2022-10-31得票数 0
回答已采纳
我在scikit工作，我正在尝试调整我的XGBoost。我尝试使用嵌套交叉验证，使用管道重新标度训练折叠(以避免数据泄漏和过度拟合)，并平行于GridSearchCV的param调优和cross_val_score，以得到roc_auc评分在最后。
from imblearn.pipeline import Pipeline
from sklearn.model_selection import RepeatedKFold
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import
浏览 0提问于2018-09-02得票数 4
回答已采纳
1回答
我正在使用sklearn随机回归，例如。由于随机logistic回归采用L1-惩罚，因此需要设置正则化参数C(或Lasso中的α)。
为了找到好的C值，我通常使用简单的GridSearchCV，如下所示。
但是RandomizedLogisticRegression()不支持GridSearchCV，因为它包含引导。相反，我尝试将典型的LogisticRegression与GridSearchCV结合使用。
params = {'C':[0.1, 1, 10]}
logi = LogisticRegression(penalty='l1')
clf = Grid
浏览 5提问于2015-12-25得票数 4
回答已采纳
运行一个标准的定标器，然后再运行一个分类器，会得到与使用管道相同的结果吗？
嗨，我有一个分类问题，正在尝试使用scikit学习的StandardScaler()来缩放X个变量。我看到了两个这样做的选择，它们在理论上应该产生相同的结果吗？因为当我使用选项(1)时，我在我的测试数据集上获得了更好的精度分数。
(1)
scalar = StandardScaler()
xtrain_ = scalar.fit_transform(xtrain)
RFC = RandomForestClassifier(n_estimators=100)
RFC.fit(xtrain. ytrain)
xtest_
浏览 1提问于2015-07-06得票数 2
2回答
用滑雪板管道选择变换
、、、、
因此，我目前正在处理一个数据集，我希望使用管道来选择转换。下面是我想要做的事情的一个例子：
# I missed the imports just for brevity
pipeline = make_pipeline(StandardScaler(), PolynomialFeatures(), PCA(), LogisticRegression())
因此，我想要做的是，在使用其他方法(如XGBOOST )时，同时尝试StandardScaler、MinMaxScaler和MinMaxScaler。然后，我想尝试使用多项式特征，然后使用PCA，只有当我使用多项式特征。最后，我想尝试使用G
浏览 0提问于2020-08-21得票数 0
回答已采纳
3回答
所以..。
我已经玩了很久了，我真的需要一些建议。
大多数人对kaggle进行培训和测试，然后对数据进行预处理，这似乎在得分时提供了很好的结果，但我认为这是数据泄漏和在现实世界解决方案中执行的不正确过程。
我保留了15%的数据作为一开始，其余的作为简历。
我的问题是，如果我把定标器放进管道中，简历的每一倍的比例尺都会发生变化，如果我在进行超参数调整之前预先对整个数据集进行标度，结果就会大相径庭。
一旦我适应了整个训练数据(包括持久化集)，我甚至会得到更糟糕的结果，这意味着它对较小的数据集过于适合。
我能做些什么来对抗这一切吗？
我做错什么了吗？(我应该把定标器放进输油管道吗？)
或者这就是现实
浏览 0提问于2020-02-17得票数 2
1回答
我想尝试将UMAP用于我的高维数据集作为预处理步骤(而不是用于数据可视化)，以减少特征的数量，但是我如何选择(如果有方法)正确的维度数量来映射原始数据？例如，在PCA中，您可以选择能够解释固定百分比方差的因子数量。
浏览 42提问于2020-07-29得票数 0
1回答
我是NLP的新手，这让我有点困惑。我试图在我的数据集上使用SVC进行文本分类。我有一个6个类的不平衡数据集。这篇文章是健康、体育、文化、经济、科学和网络课程的新闻。我用TF-以色列国防军进行矢量化。
预处理步骤：lower-case所有文本并删除stop-words。因为我的文本是德语的，所以我没有使用lemmatization。
我的第一次尝试：
from sklearn.model_selection import train_test_split
train, test = train_test_split(df, test_size=0.2, random_state=42)
X_t
浏览 1提问于2020-12-04得票数 0
回答已采纳
1回答
我知道交叉验证用于找到最大限度减少平均误差的最佳超参数。例如，将交叉验证的平均误差最小化的神经元数在ELM中估计。
但我想知道如何在EM-ELM网络中应用交叉验证(如K-折叠)：
冯，G，黄，G.B.，林，Q，& Gay，R. (2009)。误差最小化的极端学习机器增长的隐藏节点和增量学习。IEEE关于神经网络的交易，20 (8)，1352-1357。
其中，使用训练集自动估计体系结构。在EM-ELM中应用交叉验证的最佳和最标准方法是什么？是否有可能将交叉验证过程纳入到网络的增长中？
浏览 0提问于2018-07-05得票数 4
我有一个数据集，它已经被分成10倍，每个折叠都有训练、验证和测试集。我无法理解如何在这个数据集上应用10倍交叉验证。
通常，如果我们想在数据集上应用k折叠交叉验证，步骤如下：
📷
在我的例子中，数据集已经被划分为10倍，除了训练集之外，每个折叠都包含验证和测试集。如果有人能指导我，如何对这种数据集进行10倍的交叉验证，这将是很有帮助的。
浏览 0提问于2019-03-27得票数 1
在创建自定义管道时，我得到了这个错误，所有的操作都很好，甚至我从数据库获得的文本都显示得很好，就像我想要的那样。
当我粘贴不像这样的异步代码
<a href="tel:{{contacts?.phoneNumber}}" class="number">{{'88004334433' | phone}}</a>
一切正常工作，没有错误。但是当我从数据库获得数据时，就会发生这个错误。
如何删除此错误？......................................................
浏览 0提问于2018-03-28得票数 1
回答已采纳
我知道这是个新手问题，但我很难从模型中得到预测。我在培训集上使用MinMaxScaler()函数，如下所示.
scaler = MinMaxScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)
现在我已经训练并保存了模型，我尝试使用以下代码运行模型.
filename='cb1.sav'
loaded_model = pickle.load(open(filename, 'rb'))
predicted_y = loaded_model.predict
浏览 0提问于2020-12-16得票数 -1
回答已采纳
我正在尝试对一个dataset.But执行情感分析，没有一个现有的语料库可以训练我的分类器，它与我想要分析的数据集相似。我的问题如下:我是否可以在训练/验证阶段使用此数据的随机采样子集，然后使用训练好的分类器对更大的数据集执行分析？我计划通过向训练集中添加与应用程序数据集相似但不是来自该集中的数据点来引入一些可变性。这是一种有效的方法吗？
浏览 19提问于2016-07-27得票数 0
回答已采纳
2回答
我编写了一个程序来找到描述变量的系数的最佳组合。然而，网格搜索do的系数与预期的线并不匹配。这是我的数据样本：
📷
pipe = make_pipeline(process, SelectKBest(f_regression), model)
gs=GridSearchCV(pipe,params,n_jobs=-1,cv=5, return_train_score = False);
gs.fit(x_train, y_train)
fin = gs.best_estimator_.steps[2][1];
coef = fin.coef_;
intercept = fin.interc
浏览 0提问于2021-12-15得票数 -1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
