测试数据集上的测试h5模型
是指将深度学习模型（通常是基于神经网络的模型）转化为.h5文件格式，并使用测试数据集对模型进行评估和验证的过程。
概念： 测试数据集：测试数据集是用于评估模型性能和准确性的数据集。它通常包含一组标有正确答案的样本，用于验证模型对输入数据的预测效果。
h5模型：h5模型是一种常见的深度学习模型文件格式，它使用HDF5（Hierarchical Data Format）进行存储。H5模型文件包含了模型的结构、权重和其他相关参数。
分类： 测试数据集上的测试h5模型可以分为两个部分：
- 模型的训练：在此阶段，使用训练数据集对模型进行训练，使其能够学习到数据集中的模式和特征。
- 模型的测试：在此阶段，使用测试数据集对经过训练的模型进行评估和验证，以检查其在新数据上的预测准确性和性能。
优势：
- 评估模型性能：测试数据集上的测试h5模型可以帮助开发人员评估模型在未知数据上的表现，从而了解其准确性和性能。
- 发现问题和改进模型：通过测试h5模型，可以发现模型在不同类型数据上可能存在的问题或不足之处，为进一步改进和优化模型提供指导。
应用场景： 测试数据集上的测试h5模型在各种领域都有广泛应用，包括但不限于：
- 图像识别：通过测试h5模型，可以评估图像识别模型在不同场景、不同角度和光照条件下的准确性。
- 自然语言处理：通过测试h5模型，可以评估自然语言处理模型在语义理解、文本分类和情感分析等任务上的性能。
- 人脸识别：通过测试h5模型，可以评估人脸识别模型在不同人脸图像上的准确性和识别速度。
推荐的腾讯云相关产品和产品介绍链接地址： 腾讯云AI智能机器学习平台（https://cloud.tencent.com/product/tiia） 腾讯云人工智能开发平台（https://cloud.tencent.com/product/tcaplusdb） 腾讯云图像识别（https://cloud.tencent.com/product/tii）
注意：上述链接仅为示例，实际推荐的产品和链接需要根据实际需求和情况进行选择。
相关·内容
我试图了解测试数据集是否可以用来选择一个经过训练的最终模型。让我们假设这个场景：
我首先分割了整个数据集: 70%的训练，30%的测试。然后我拟合了几个模型(假设NN，RandomForest，AdaBoost，.)在训练数据集上进行交叉验证，对超参数进行调优，以获得最佳的列车数据性能。我知道这些分数是有偏见的，因为我调整了这些数据上的超参数。
然后，使用测试数据集来获得对无偏数据的真实性能，并选择哪个模型的性能最好。
这是使用测试数据集的正确方式吗？一些混淆来自于测试数据集的internet定义：
用于对最终模型进行无偏评估的数据样本，适合于培训数据集。
似乎它应该只用于获得一个最后训练的模
浏览 0提问于2018-12-27得票数 2
回答已采纳
我在一个包含FC层6个类的大型数据集上使用了一个经过训练的CNN模型(VGG16)，它给了我一个很好的精度(例如测试数据: loss=0.59，accuracy=0.829)。
当我用较少的样本和标签(4个类)在dataset上应用相同的模型时，它降低了准确性。
这里我的问题是:在第二个数据集上是否可以使用模型1 (bec我保存了所达到的权重)，还是由于类号的不同而不可能使用？
另外，如果我重新运行我的模型1，精度会提高还是没有？
浏览 0提问于2020-08-10得票数 0
回答已采纳
我正在使用Weka gui在数据集上训练支持向量机分类器(使用libSVM)。.arff文件中的数据为
@relation Expandtext
@attribute message string
@attribute Class {positive, negative, objective}
@data
我使用String-to-Word Vector将其转换为一袋单词，运行SVM并获得不错的分类率。现在我有了我的测试数据，我想要预测他们的标签，我不知道。同样，它的头信息是相同的，但对于每个类，它都标有一个问号(?)即
'Musical awareness: Great Big
浏览 2提问于2013-03-16得票数 1
回答已采纳
2回答
我正在为一个三级分类问题训练CNN模型。为了做到这一点，我正在逐步解冻一个预先训练过的Resnet-18网络中更多的卷积块。问题是，在解冻块(例如块3和前面的块)之后，验证集上的性能确实提高了，但是测试数据集上的性能没有改善(相对于块2和前面的块)。
现在，我想知道保持解冻块是否“合理”(可以这么说)，以了解这如何影响测试数据集上的性能。我觉得我只是在利用某种运气，因为模型更适合测试数据集，只是偶然而已。
简而言之，我想我的问题是我是应该选择验证性能模型还是测试性能模型？
浏览 0提问于2018-06-13得票数 0
实际上，我在从HDF5生成img时提出了一个问题。现在，我遇到的另一个问题是从现有的h5生成。
例如，我有一个ABC.h5，里面有用于图像的数据集及其gt_density映射。关键是图像，density_maps
我想要GT_001.h5，GT_002.h5..。而不是单个h5文件。这是为每个图像提取的density_maps。
如何做到这一点？非常感谢。
编辑这里是更多的相关信息。谢谢你给我的导游。在CRSNet中的原始数据集中，h5中只有一个图像文件及其地面真相密度图。此密度映射为<HDF5 5数据集“密度”：f4 (544,932)，键入"<f4"> &
浏览 7提问于2021-04-09得票数 0
回答已采纳
1回答
避免NLP提取中的泄漏
、、、
应用传统NLP提取技术对ML模型进行预处理的最佳实践是什么？
如果有管道：
收集原始数据。
使用各种传统的NLP技术解析完整的数据集，以创建与模型兼容的特性(例如，实体提取的一个热编码矩阵)。
对数据进行ML模型的训练。
我的直觉说你必须在第一步和第二步之间分割数据，例如，在你的训练集上只运行TF-国防军或NMF。
But，我在论文和生产中看到了很多，非深度学习NLP技术通常在数据分割之前使用。
浏览 0提问于2022-09-03得票数 1
回答已采纳
在Kaggle比赛中，我们有一个训练和测试数据集。因此，我们通常在训练数据集上开发一个模型，并使用该算法所看不到的测试数据集对其进行评估。我想知道，如果只给我们一个数据集而没有任何测试数据集，那么验证回归问题的最佳方法是什么。我认为可能有两种方法：
在第一步中，在导入数据集之后，将其转换为训练和测试数据集，使用这种方法，算法直到最后一步才能看到测试集。经过预处理和特征工程，我们可以在训练数据集上使用交叉验证技术，或者使用训练测试分割来提高模型的误差。最后，模型的质量可以通过看不见的数据进行检验。
也看到，对于回归问题，一些数据科学家使用整个数据集进行测试和验证，我的意思是他们同时使用所有的数据
浏览 1提问于2020-09-04得票数 0
1回答
我正在使用一个简单的单词包模型和一个线性支持向量机分类器从维基百科评论中识别‘攻击’。由于班级不平衡，我使用F1分数作为我的错误度量。我想知道我在培训数据中的标记是否也应该包含只存在于测试数据中的单词，还是不重要？我的印象是，这不应该重要，因为这些功能的计数将是零，无论如何，在培训集。这将使他们在培训时与模型无关。显然，有些人也是这么说的(虽然没有找到明确的答案)。
为了测试这一点，我决定用两种方式来训练我的模型，看看不同之处:一次只有训练数据中的特性，另一次有包含测试数据的特性。将CV的n倍设置为10，两者的CV误差非常相似，但当我对我的测试数据进行预测时，模型的F1评分比测试数据高出0.0
浏览 0提问于2021-05-22得票数 2
1回答
为什么交叉验证的性能比测试差？
、、、、
在下面的代码中，我用X_test (特性)和y_test (标签)数据拟合了一个LogisticRegressionCV模型。 然后，使用该模型，我应用了10折的cross_val_predict来使用CV评估性能。我计算了两个不同的AUC分数，一个使用roc_auc_score方法进行预测，另一个使用auc方法进行概率计算。 #CV LOGISTIC REGRESSION
classifier = linear_model.LogisticRegressionCV(penalty='l1',class_weight='balanced', tol=0.01,
浏览 52提问于2019-06-27得票数 1
我正在使用TF对象检测API来检测自定义数据集上的对象，但是当涉及到精度时，我不知道如何计算它，因此，如何计算自定义数据集上的对象检测模型的准确性？并找到模型在测试数据集上的置信度分数？
我试着使用eval.py，但它没有任何帮助。
浏览 1提问于2019-10-31得票数 0
1回答
特征缩放
、
我正在努力解决一个与特性缩放相关的概念性问题。
让我们假设我正在构建一个分类器(例如一个NN)，并且假设我依赖于我的模型的输入特性的未来缩放。
在这种情况下，我将用它的平均值和它的std来规范训练集，我也会用测试均值和std对测试集做同样的事情。
让我们也假设我成功地建立了我的分类器，我转移到生产，在那里我试图分类新的投入。然而，对于这样的新输入，均值和std是未知的！在对模型进行处理之前，我如何适当地缩放它们？也许我可以用training+testing的平均值和性病。
我真的不知道哪个是正确的练习here....any提示？
谢谢你的帮助!
浏览 0提问于2015-03-23得票数 2
1回答
我试图用e1071 R软件包的but ()函数来优化支持向量机和CART的超参数，但我有一个疑问。我应该调整训练数据上的参数，在训练数据上拟合模型，然后在测试数据上测试它，还是可以避免第二步？
浏览 0提问于2018-10-05得票数 1
回答已采纳
1回答
我正在通过tensorflow联邦实现联邦学习。本教程和所有其他可用的材料比较了联邦(全局)模型在每一轮通信之后的准确性。是否有一种方法可以计算每个局部模型与联邦(全局)模型的准确性。
摘要:客户总数:每轮通信15次:本地与联邦模型性能
参考文献：
()
浏览 4提问于2021-11-09得票数 2
回答已采纳
我有一个关于K折叠交叉验证的概念性问题。一般情况下，我们根据测试数据训练一个学习模型，并用测试数据对其进行验证，假设系统对这些数据是盲目的，这就是为什么我们可以评估系统是否真的学会了。现在使用k折叠，最后的模型实际上已经(间接地)看到了所有数据，那么为什么它仍然有效？它已经看到了所有的数据，我们不知道它是如何预测未知数据的。这就是我的问题，基于这个事实，为什么我们知道这个方法是有效的？谢谢。
浏览 0提问于2022-06-11得票数 -1
1回答
我有两个数据集(train.csv)和(test.csv)围绕预测疾病的死亡结果。这两个集合都包含20个自变量(年龄、体重等)，但只有train.csv数据集包含真正的死亡结果(活的为0，死亡的为1)。训练数据集的形状为(650，21)，而测试数据集的形状为(200，20)。我也在使用python，而且数据集不平衡，在训练集中只有大约30人死亡。
我必须使用训练集对模型进行训练，并使用测试数据集预测结果，以及显示性能表等内容。然后，我必须将预测的结果放入一个新的.csv文件中提交，该文件将根据不同的数据集进行测试，并给我一个ROC/AUC评分。此提交必须具有与测试数据集相同的观察量，即200。
浏览 0提问于2022-01-05得票数 0
回答已采纳
2回答
了解神经网络中的最佳模型
、、、、
我用CNN训练了一个模型，
结果是，
准确性
损失
我从fast.ai上读到的，专家说，一个好的模型有val_loss略大于损失。
我的模型在点上是不同的，所以，我是否可以认为这个模型是好的，或者我需要再次训练…
谢谢
浏览 1提问于2019-11-01得票数 0
1回答
我正在尝试使用Baking建立一些预测模型-来自kaggle的营销目标这里是链接：
kaggle的数据集已经分为列车数据csv和测试数据csv。但是这两个csv文件都有一个目标列y。在启动EDA和预处理之前，我应该将它们连接到一个数据帧中吗？那么在创建模型的时候，要使用train_test_split库吗？
第二个问题是，我还看到了一些来自kaggle的数据集：也已经分离为列车数据csv和测试数据csv。但区别在于测试数据csv没有目标列(Response)。这让我觉得我不能连接两个数据集。
有人能给我解释一下吗？
浏览 11提问于2022-09-20得票数 -1
回答已采纳
1回答
假设我有一个数据文件，如：
索引，product_buying_date，col1，col2
0,2013-01-16,34，Jack
1,2013-01-12,43，莫莉
2013年2，01-21，亚当
2014-01-09，54，Peirce
2014年4月-01-17，38，戈德堡
5,2015-01-05,72，钱德勒
。。
。。
20000,2015-01-27，32，Mike
用更多的数据，我有一个目标变量y，根据你的方便来做一些假设。
现在我知道，我们把数据分成两部分，即训练和测试。然后将列车划分为70:30，用70%建立模型，用30%对模型进行验证。我们调整参数，使模型不过分适
浏览 4提问于2016-02-02得票数 0
回答已采纳
我在Python中使用以下步骤(并按上述顺序)构建了一个分类模型-
数据清理.删除不需要的变量和将预测变量与响应变量分离
标签编码
标准化( StandardScaler)
列车试验劈开
击打
模型建立
使用测试数据的模型测试
现在我有了一个新的数据集，我想使用上面构建的模型进行预测。我该怎么做？以上哪些步骤我应该遵循，哪些步骤我应该跳过？( b)此外，上述任何步骤的安排是否非常非常错误，以致需要改变？
浏览 0提问于2020-07-02得票数 0
我目前正在创建一个机器学习模型，最终目标是在iOS应用程序中部署该模型。该应用程序将用于现场，与测试和训练集相比，那里的光线条件变化很大。 向我的图像数据生成器添加高channel_shift_range是否会提高我的模型识别图像的能力，即使在光线条件高度可变的情况下也是如此？ 我目前正在使用 train_datagen = ImageDataGenerator(
rotation_range=360,
width_shift_range=0.2,
height_shift_range=0.2,
rescale=1./255,
浏览 41提问于2020-01-21得票数 0
遵循Tensorflow教程中的虹膜分类问题，我正在尝试构建一个DNN分类器模型来识别手写字符。遇到了对测试数据的质疑。
我假设在正常的机器学习中，测试数据是未标记的。为什么在tensorflow中，测试数据也应该被标记？有没有什么方法可以使用DNN分类器或tensorflow中的任何其他分类器输入未标记的测试数据？
浏览 18提问于2018-07-27得票数 1
我正在训练ML CNN模型。我想比较不同的图像数据集。数据集都有不同的特征(翻译与否、旋转与否等等)。
我不修改不同数据集培训之间的ML模型。
我应该使用相同的测试数据集来比较它们吗？此数据集不会通过测试更改，并且将包含在其他地方找不到的数据。它不会更适合于特定的培训数据集。
还是应该使用与训练数据集相同的测试数据集？这样我才能比较他们的最佳状态？
例如，如果我想比较数据集A和B，是否应该使用测试数据集A和测试数据集B的组合？或者在测试数据集A时，使用测试数据集A，在测试数据集B时使用测试数据集B。
浏览 0提问于2020-07-24得票数 0
1回答
验证和测试的准确性差别很大
、、、、
我目前正在处理kaggle中的一个数据集。在训练了训练数据的模型后，我在验证数据上对其进行了测试，得到了0.49左右的准确率。
然而，相同的模型在测试数据上的准确率为0.05。
我使用神经网络作为我的模型
那么，发生这种情况的可能原因是什么，以及如何开始检查和纠正这些问题？
浏览 3提问于2018-02-10得票数 10
回答已采纳
1回答
我有一个图像数据集的多类图像分类-培训和测试图像。我训练并保存了我的模型(作为.h5文件)的训练数据，使用80-20%的火车验证分割。
现在，我想预测测试图像的类。
哪种选择更好，情况总是这样吗？
对于“测试图像”，使用训练后的模型对整个训练数据(即包含20%的验证图像)保存的模型进行预测。但是，如果没有验证数据，那么模型如何确保在培训期间损失最小。
浏览 8提问于2020-07-02得票数 0
回答已采纳
3回答
嘿，我正在训练一个CNN模型，我想知道如果我使用相同的数据进行验证和测试会发生什么？模型是否也对验证数据进行了培训？(我的模型看到验证数据了吗？)还是只计算了误差和准确度，并在训练中加以考虑？
浏览 6提问于2020-05-24得票数 1
回答已采纳
1回答
队员们，
我正在做一个项目，在那里我需要将项目分类为特定的类别。我只有一个文件作为输入；它包含目标变量和空间分隔的特性。我的训练数据看起来就像
类别名称选项卡DataString
管道塔式塑料管PVC管冷水管道三通上弯头向上弯头转下闸阀球阀
油漆Tab象牙色黑烧乌木头盖紫罗兰土红黄矿石钛白镉黄光镉黄深
服装，T恤衫，紧身牛仔裤，三轮车货
嗯，我有一套很大的分类。我有几个问题
，我是否在使用正确的数据进行培训？如果没有，我应该使用什么？，一旦我训练和测试我的模型，下一步是什么？如何使用输出？
请帮我处理这个
谢谢,
尼梅什
浏览 2提问于2012-04-17得票数 0
我熟悉术语，高偏差和高方差，以及它们对模型的影响。
基本上，当你的模型太复杂，太敏感，甚至是离群点时，它就会有很高的方差。
但是最近我在一次访谈中被问到机器学习模型中术语方差的含义？
我想知道方差在ML模型中的确切含义，以及它是如何在您的模型中被引入的？如果有人能用一个例子来解释这一点，我会非常感激的。
浏览 0提问于2018-08-23得票数 22
回答已采纳
如果您能让我知道在以下步骤中报告什么，我将非常感激-DM？
构建模型:对于参数设置、模型和模型描述，应该报告什么？我使用网格搜索来调优超参数。
评估模型:模型评估和修改后的参数设置应该报告什么？
评估结果:对数据挖掘结果的评估应该报告什么？
📷
实际上，我只使用Logistic回归来执行分类任务，使用如下所示的过程：
📷
对测试数据集的最终模型评估是评估结果的一部分，还是应该对新数据进行评估？
浏览 0提问于2018-06-17得票数 3
1回答
我有一个用于在9个类上检测对象的yolov3模型。验证集和测试集(未见数据)在计算度量(例如mAP)方面有什么不同？文学中通常做些什么?为什么？
浏览 0提问于2022-02-15得票数 0
我在A语料库上训练了我的分类模型，并在B语料库上对其进行了评估。
我这么做是因为A语料库的标记句比B多。A中句子的性质与B中的句子不同。A有电子商店的产品名称，B有在购物清单上出现的产品名称，有所有的俚语、缩写、拼写错误和私人注释。
我在做转移学习吗？
浏览 0提问于2020-11-13得票数 1
回答已采纳
关于表单识别器(FR)模型管理的几个问题：
背景:我正在使用FR标记工具来训练模型，使用C#函数应用程序与FA服务交互并分析表单。
每次对模型进行培训时，都会创建一个新实例。新版本不包含对以前版本的任何引用，也无法在代码中按名称选择模型。可以使用TrainingCompletedOn属性查询最新模型，但它不是故障保护，如果FR有多个项目，则不能使用它。问:如果正在进行持续的开发，并不断改进模型--是否有一种方法(或最佳实践)来管理必须针对哪个模型。与第一季度相关的--因为FR总是创建一个新模型--最终得到了一大串尚未使用、仍在使用的模型。而且，由于它们之间没有联系--没有安全的方法来执行清理。
浏览 1提问于2020-08-05得票数 3
2回答
我使用的基因表达数据，是浮动数字，并希望训练分类器考虑到二进制分类。由于我是这个领域的新手，我有一些问题：
我使用的第一个分类器是SVM。我正在使用sklearn工具，它需要在培训和测试数据集中分离数据集。据我所知，为了构建模型，需要将数据集中的数据集和验证数据集(找到模型的参数)分开，而对于超参数的微调，则需要一个测试数据集。有趣的是，考虑到我在查看sklearn文档时发现的情况，建议只对火车和测试数据集进行分割。验证数据集上没有断言。因此，我怀疑，我是否正确地运行分类器。
下面是我使用的代码：
from sklearn.model_selection import train_tes
浏览 0提问于2021-06-10得票数 1
1回答
测试数据集上的测试h5模型
、、、、
使用迁移学习进行二分类。我使用我的数据集训练模型，我的数据集被分成三个文件夹- train，test，val。这些文件中的每一个还包含每个类的单独文件夹。 r = model.fit_generator(
training_set,
validation_data = val_set,
epochs=5,
steps_per_epoch=len(training_set),
validation_steps=len(test_set)
) 训练完成后，我将模型保存为h5文件。 import tensorflow as tf
from keras.models impo
浏览 56提问于2021-11-10得票数 1
回答已采纳
在卡格尔课程页上，下面的图表显示测试数据的MAE总是高于训练数据的MAE。为什么是这种情况？它是否仅限于DecisionTreeRegressor模型？或者图是错的，在实际测试中，MAE可以低于训练的MAE吗？
📷
浏览 0提问于2019-12-26得票数 1
回答已采纳
1回答
我想训练一个模型来识别不同种类的食物，比如米饭、汉堡、苹果、比萨饼、橘子等等。
第一次训练后，我意识到模型是用来检测其他物体作为食物的。手如鱼，电话如巧克力，人如糖果。
我得到了一个非常低的损失，因为测试数据集和验证必须至少有一张食物的图片。但是当涉及到食物以外的物体的图片时，模型就失败了。如果图片上没有食物，如何将数据集标记为模型不会进行任何检测的方式？
浏览 0提问于2018-07-30得票数 3
1回答
交叉验证matlab -交叉函数
、、、、
我不明白matlab中的"crossval“函数是以什么作为第一个参数，我知道它是一个用于执行回归的函数，但我没有得到所谓的” intended testval“。我需要在K回归器上使用它，但是这些例子并没有让我明白所有的事情。
vals = crossval(fun,X)
每次调用它时，fit都应该使用XTRAIN来拟合一个模型，然后使用该拟合模型返回在XTEST上计算的一些标准测试。
这里是我阅读的地方：
浏览 6提问于2014-05-27得票数 3
回答已采纳
在使用模型进行预测时，是否也应该执行特征缩放/平均归一化，该模型是经过训练和测试的，使用特征缩放/平均规范化进行测试？
浏览 0提问于2020-04-05得票数 0
回答已采纳
虽然我知道，如果我使用相同的数据来训练一个模型，那么我肯定会过度拟合，但是这个模型的准确性是否总是100%呢？
换句话说，测试我是否正确地创建了我的模型，通过在测试数据上进行培训来测试模型是一种方法吗？
浏览 0提问于2017-03-07得票数 1
1回答
上下文：
根据Muller的“用python机器学习入门”推荐的工作流程，一个人会在一个测试集上做一个单一的分数评估，这个测试集在过程开始时被搁置在一边：
这有一个优点，可以得到一个给定的模型及其超参数集，而不是嵌套交叉验证，可以使用多个(不同的)模型。
对单个测试集的评估给出了具有高方差的估计量。
问题是：
有什么方法可以比这个分数得到更好的泛化误差估计吗？(即使此方法需要更多的训练迭代)
浏览 1提问于2017-10-17得票数 1
3回答
我将评估我建立的分类模型。这就是逻辑回归和决策。
我用什么标准来比较？
假设模型选择的标准是ASE。训练数据ASE高，测试数据ASE低，训练数据ASE低，测试数据ASE高。如果您选择一个模型，您会选择哪些模型？
浏览 0提问于2018-06-02得票数 1
回答已采纳
假设我在一个ML问题中有3个数据集。
train dataset：用于估计ML模型参数(培训)
test dataset：用于规避训练模型，计算训练模型的精度。
prediction dataset：仅用于模型部署后的预测
我没有evaluation dataset，我使用网格搜索和k折叠交叉验证来找到最好的模型。
另外，我有两个python脚本，如下所示：
train.py：用于训练和测试ML模型、负载训练和测试数据集，保存所训练的模型，通过网格搜索找到最佳模型。
predict.py：用于加载预先训练的模型和负荷预测数据集，预测模型输出和计算精度.
在开始train.py培训之前，我使用M
浏览 4提问于2020-07-01得票数 0
回答已采纳
我有250张人脸图像，我将用这些图像来训练模型。为了方便起见，我要做的是挑选前10个图像，并使用leave-one-out交叉验证来训练模型，以便每个图像都有机会成为测试图像。我所理解的是，在这种情况下，我的训练数据集的大小是9，测试数据集的大小是1。之后，我将获得下10个图像，然后使用它们来训练模型。在这种情况下，我的训练数据集的大小将是19，测试数据集将是1(这将重复发生20次，以便每个图像都有机会出现在测试集中)。同样，这个过程一直持续到我使用了所有的250张图像来训练模型。
我不理解的是“验证数据集”。我做错了吗？
在Stackoverflow上有一个答案，但我不清楚。这就是我发布这个
浏览 2提问于2014-07-31得票数 1
2回答
我试图使用the算法进行降维，我知道这不是这个算法的主要用途，也不推荐。我看到了一个在t上实现的这里。，我不相信这个实现。
该算法的工作方式如下：
给定训练数据集和测试数据集，将2合并成一个完整的数据集。
在完整数据集上运行the (不包括目标变量)
将the的输出作为K个新列添加到完整的数据集中，K是the的映射维数。
将整个数据集重新分割为培训和测试。
将训练数据集分割成N个折叠
在N个折叠上训练机器学习模型并做N个交叉验证。
在测试数据集中评估机器学习模型
我的主要问题不是关于the但是；
在数据转换之前，我可以将数据集分割成训练集和测试集，用于其他降维算法(如PCA )吗？
这会有效吗
浏览 0提问于2022-03-14得票数 1
回答已采纳
这个问题在某种程度上与：在推断测试集之前加入培训和验证集是正确的吗？有关
据我所知，一般正常化的方式如下：
分割数据
规范化列车数据
使用mean+std from 2规范验证和测试数据
训练模型与调优超参数
现在我们有了一个我们满意的模型和超视距。上面的问题表明它是好的，然后一起训练一个使用train+validation数据的模型。但我很困惑，我是否会让它们正常化，并将它们结合在一起？或者，我是在组合集合上计算一个新的新规范化，然后用新的标准化值重新计算测试数据？
谢谢!
浏览 0提问于2021-07-18得票数 0
回答已采纳
我已经尽我所能地检查了堆栈溢出和Tensorflow API关于Estimator.evaluate()的部分，但是没有找到任何解决这个问题的方法。
我是一个用Tensorflow从事研究项目的学生，我一直在用估价()跟踪准确性，并将返回的值存储在文本文件中。我的建议教授(他与ML/NNs合作，但不是具体的python和Tensorflow)想知道这个精确值是特定于它现在看到的一批数据，还是从一开始到那一刻整个网络的准确性。
请有人澄清，“准确性”是衡量评估时某一批数据的准确性，还是衡量它所看到并包括该时刻在内的所有批次/数据？
如果它不是所有批次的度量，是否有任何方法从网络中找到它，或者我需
浏览 0提问于2019-03-14得票数 2
我想实现Apache Spark的ALS机器学习算法。我发现应该选择最好的模型来获得最好的结果。我已经按照论坛上的建议将训练数据分成了三组Training, Validation and Test。
我找到了以下代码样本，以便在这些集合上训练模型。
val ranks = List(8, 12)
val lambdas = List(1.0, 10.0)
val numIters = List(10, 20)
var bestModel: Option[MatrixFactorizationModel] = None
var bestValidationRmse = Double.MaxVal
浏览 0提问于2015-06-12得票数 0
1回答
验证损失或模型评估
、、、
我有一个门控递归单元(GRU)模型，我做了两个版本，每个版本略有不同。当我运行这两个版本时，版本1给我的验证均方误差(MSE)是0.0013，而版本2给我的是0.0015。这意味着版本1是一个更好的模型。但是，当我使用测试数据帧运行model.evaluate(X_test,y_test)时，Version给我的MSE值是0.0027，而Version 2给我的MSE值是0.0018。 我的问题是，在使用测试数据框架进行预测时，哪个版本被认为是更好的版本，哪个版本提供了更好的验证MSE，或者哪个模型提供了较低的MSE 谢谢。
浏览 21提问于2020-03-14得票数 0
回答已采纳
我有两个关于句子是否包含提到药物不良事件的数据集，训练和测试集都只有两个字段文本和标签{不良事件，无不良事件}我已经使用weka和stringtoWordVector过滤器在训练集上使用随机森林构建了一个模型。
我想测试构建的模型，方法是从测试数据集中删除类标签，在其上应用StringToWordVector过滤器，并使用它测试模型。当我尝试这样做时，它给我一个错误，说训练和测试集不兼容，可能是因为过滤器为测试数据集识别了一组不同的属性。我如何解决这个问题，并输出测试集的预测。
浏览 0提问于2018-03-12得票数 0
当尝试在比我的培训数据更少的新测试数据上测试经过训练的模型时，predict()返回以下内容：
新数据中的预测器类型与培训数据的类型不匹配。
我的训练数据有一个包含7个因子级别的变量，而我的测试数据有相同的6个因子级变量(所有6个都在训练数据中)。
当我添加一个包含“缺失”第7因子的观察时，模型就会运行，所以我不知道为什么会发生这种情况，甚至不知道背后的逻辑。
我可以看到测试集是否有更多/不同的因素级别，那么randomForest会窒息，但是为什么在训练集有“更多”数据的情况下呢？
浏览 3提问于2014-07-21得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
