用于训练机器学习模型的80-20或80-10-10？
用于训练机器学习模型的80-20或80-10-10是指数据集的划分比例，其中80%或者80%的数据用于训练模型，剩下的20%或者10%的数据用于验证和测试模型的性能。
这种划分比例是一种常见的做法，旨在充分利用数据集进行模型训练，并评估模型的泛化能力。具体的划分比例可以根据数据集的大小和特点进行调整。
优势：
- 充分利用数据：使用80%或者80%的数据进行模型训练可以更好地捕捉数据的特征和模式，提高模型的准确性和性能。
- 验证模型性能：使用剩下的20%或者10%的数据进行模型验证和测试，可以评估模型的泛化能力，判断模型是否过拟合或者欠拟合。
- 节省时间和资源：相对于使用更大比例的数据集进行训练，80-20或者80-10-10的划分可以节省训练时间和计算资源。
应用场景： 80-20或者80-10-10的数据集划分适用于各种机器学习任务，包括分类、回归、聚类等。它可以用于各个行业和领域的数据分析和预测，如金融、医疗、电商、推荐系统等。
腾讯云相关产品： 腾讯云提供了一系列与机器学习相关的产品和服务，可以帮助用户进行数据处理、模型训练和部署等工作。以下是一些推荐的腾讯云产品和产品介绍链接地址：
- 云服务器（Elastic Cloud Server，ECS）：https://cloud.tencent.com/product/cvm
- 云数据库（TencentDB）：https://cloud.tencent.com/product/cdb
- 人工智能平台（AI Lab）：https://cloud.tencent.com/product/ai
- 云原生应用引擎（Tencent Cloud Native Application Engine，TKE）：https://cloud.tencent.com/product/tke
- 视频处理（云点播）：https://cloud.tencent.com/product/vod
- 图像识别（腾讯云图像识别）：https://cloud.tencent.com/product/ai-image
- 自然语言处理（腾讯云自然语言处理）：https://cloud.tencent.com/product/nlp
请注意，以上仅为示例，具体的产品选择应根据实际需求和情况进行评估和选择。
相关·内容
1回答
我正在训练一个带3折交叉验证的keras深度学习模型。对于每个折叠，我都会收到一个性能最佳的模型，最后我的算法会给出三个最佳模型的综合得分。我现在的问题是，最终是否有可能将这三种模型结合在一起，或者只采用这三种模型中表现最好的模型是否是一个合法的解决方案？
浏览 2提问于2019-11-04得票数 1
2回答
我是机器学习的新手。我对机器学习模型是如何记住它学到的东西感到困惑。以及它是如何学习的。
我知道机器学习的基本流程:首先是数据采集，然后是数据预处理，然后创建训练和测试数据集，然后训练ML学习算法。训练后，用试验数据对模型的准确性进行检验。但是我对算法是如何训练的以及它是如何记住它学到的东西感到困惑的。
浏览 0提问于2018-09-03得票数 6
1回答
我想计算样本外测试集预测中机器学习回归的RMSE的置信区间。
我的训练集是样本的前80%，“样本外”测试集是样本的最后20%。我将测试集预测的RMSE视为样本外性能，并希望计算此RMSE的CI。
我的一个想法是对前80%的训练集进行重新采样，但每次迭代都使用相同的测试集。这似乎代表了测试集上RMSE在不同可能的训练场景中的CI。然而，它不会考虑到测试集中可能的变化。
这种方法明智吗？有没有更好的方法来解决我的问题？谢谢!
浏览 14提问于2018-02-19得票数 1
1回答
实例化和关闭Kubeflow豆荚
、、、、
我正在学习Kubernetes和Kubeflow，有些事情我想做，我在互联网上找不到任何明确的答案，如果可能的话，或者我应该选择的路线。
在训练我的机器学习模型时，我想使用一台大型机器在云上训练我的模型，但在那之后，我只想在一个小规模的实例上服务这个模型。我希望大型机器只在训练阶段使用，并在此之后关闭。库贝弗尔能做到这一点吗？如果是的话，我会怎么做呢？
不好意思，我还在学习这个平台。
浏览 7提问于2021-02-02得票数 2
回答已采纳
3回答
基于机器学习的边缘检测
、、、、
我读过下面的关于使用机器学习的边缘检测的。他们
采用了一种现代机器学习算法。该算法是针对人类标注最重要的边缘和对象边界的图像进行训练的。给定该标记数据集，训练机器学习模型以预测属于对象边界的图像中每个像素的概率。
我想使用opencv来实现这个技术。
是否有人知道或知道如何使用Opencv实现/开发此方法？
我们如何注释最重要的边缘和对象边界，以便与机器学习算法一起使用？
浏览 5提问于2017-04-08得票数 6
如果我建立一个机器学习模型，它使用来自另一个机器学习模型的输出，而两个模型都是在相同的数据上训练的，是否会过度拟合？基本上，我想知道是否可以使用KNN预测结果作为深度神经网络模型的输入，而这两个模型都是在完全相同的数据上训练的。
浏览 0提问于2018-11-06得票数 0
3回答
我知道我的问题很基本，但我需要一些澄清。CNTK是我目前使用的深度学习框架，可以用来在windows机器上训练和评估模型。如果我想在Windows设备上运行用CNTK训练的模型，我应该使用WIN ML。我说的对吗? WIN ML也可以在windows机器上使用吗？
浏览 36提问于2019-01-01得票数 0
回答已采纳
2回答
我正在训练一个图像分类模型，我的测试集分布是80-20。
经过训练，我的火车测试损失曲线如下所示
📷
由于该模型是在20-30年代以后收敛的，因此并不过分适合。
我也可以尝试通过合并我的训练和测试集来训练相同的模型，希望它会随着训练数据的增加而变得更精确?
在这种情况下，合并火车、测试集是个好主意吗？
如果我这样做，有甚麽坏处呢？
浏览 0提问于2020-10-18得票数 2
回答已采纳
1回答
我有一个图像数据集的多类图像分类-培训和测试图像。我训练并保存了我的模型(作为.h5文件)的训练数据，使用80-20%的火车验证分割。
现在，我想预测测试图像的类。
哪种选择更好，情况总是这样吗？
对于“测试图像”，使用训练后的模型对整个训练数据(即包含20%的验证图像)保存的模型进行预测。但是，如果没有验证数据，那么模型如何确保在培训期间损失最小。
浏览 8提问于2020-07-02得票数 0
回答已采纳
2回答
出于好奇，我遵循了一些机器学习和深度学习教程，但奇怪的是，它们中没有一个提到下一步如何处理经过训练的模型？
那么，如何处理训练好的模型呢？它可以在网站上实现吗(例如，与Wordpress集成)？
我用的是colab。
如果你有更多的资源或教程要推荐，请分享。谢谢
浏览 0提问于2019-08-14得票数 0
1回答
考虑一个从训练集中训练的机器学习算法，在PAC学习模型的帮助下，我们得到了所需训练样本大小的界限，因此误差受到限制的概率(由epsilon)是有界的(由Δ)。
关于计算(时间)复杂性，PAC学习模型说了些什么。假设一个学习算法有更多的时间(比如更多的迭代)，那么误差和误差有限的概率是如何变化的
作为一种需要一小时训练的学习算法，在金融预测问题中没有实际意义。我需要的是性能如何随着算法时间的变化而变化，无论是在误差界和误差有界的概率方面。
浏览 1提问于2011-06-28得票数 0
回答已采纳
3回答
我想知道为什么深度学习模式如此不稳定。假设我使用相同的数据集多次训练机器学习模型(例如logistic回归)，并多次训练深度学习模型(例如LSTM)。在此之后，我计算了每个模型的平均值及其标准差。深度学习模型的标准差比机器学习模型的标准差大得多。为什么会这样？
这与深度学习方法中的权值初始化有关吗？如果是这样的话，为什么模型不总是收敛在同一点上呢？
浏览 0提问于2021-11-09得票数 4
我是python的新手，从事机器学习的工作。我从sklearn.svm训练过LinearSVC，并且训练需要相当长的时间，主要是因为词干提取(7-8分钟)，我想知道是否有可能将模型结果保存为一些扩展，在运行应用程序时可以将其反馈到sklearn.svm，只是为了节省每次运行应用程序时发生的训练时间。
浏览 1提问于2017-04-17得票数 0
2回答
我的理解是，训练一个模型是在机器学习中使用训练数据，以便当新的数据提供给它时，该模型可以预测值。
数据挖掘是在现有数据集中查找模式的过程。那么，“列车模型”在数据挖掘中的作用到底是什么呢？
浏览 0提问于2020-09-09得票数 2
对于机器学习的文本分类--如果您的训练数据纯粹是用正则表达式生成的，那么是否有可能用这个训练数据来训练一个比原来的正则表达式更精确的机器学习模型？
我所说的“准确性”指的是与问题的人类真相相比被正确标记的百分比。
例如，我们有一组标记为快乐或悲伤的推特。我想知道，对这些数据进行训练的机器学习分类器是否能够超过生成训练数据的正则表达式的准确性)
浏览 0提问于2017-04-15得票数 0
1回答
假设我有一个训练数据集，由128个一维时间序列以numpy数组的形式组成。
它们都对应于一个特定的动作，我给它贴上action_1标签，我想识别它。
实现以下目标的最有效方法是什么：
使用训练数据集(128个一维numpy数组)训练模型
让模型预测一个新的测试条目(一维numpy数组)中的动作。
这是我第一次尝试机器学习，谢谢您的任何指示。
浏览 0提问于2018-12-03得票数 2
我的笔记本电脑在训练大数据集时遇到了问题，但不是为了预测。我可以使用Google Cloud Platform进行训练，然后导出并下载某种权重或机器学习模型，这样我就可以在我自己的笔记本电脑上使用它，如果是这样的话，该怎么做？
浏览 16提问于2019-07-22得票数 0
我已经在Windows中构建了一个预测模型，以使用python 3.6.1训练数据集。我使用pickle将列车模型保存为Pickle文件
现在，我已经编写了另一个python脚本来读取和加载列车pickle文件，以预测测试数据。
我已经在Windows上获得了成功的结果。
现在，我想将训练酸菜文件和Python脚本(使用训练酸菜文件使用测试数据预测模型)移动到具有与windows.But相似版本的python安装的Linux环境中，Linux中的python安装不包括机器学习库。
在这种情况下，windows的Train pickle文件是否会表现为包含所有机器学习库的exe文件？
加载和读取
浏览 1提问于2018-04-21得票数 1
我正在跟随学习如何在Amazon-sagemaker中训练机器学习模型。问题是ml.t2中的实例不能满足K-means算法的约束条件。我不能使用满足算法约束的实例(我将请求支持分配此资源)。我的问题是，sagemaker有什么算法可以用最小实例在MNIST数据集上进行训练吗？
浏览 0提问于2020-07-19得票数 0
我正在使用Azure Automated Machine Learning SDK在我的数据集上训练机器学习模型。然而，在实验之后，即使模型训练本身成功，我的所有训练迭代都会失败，并出现KeyError: 'brand'错误。
我该如何解决这个问题？
浏览 0提问于2020-07-10得票数 2
1回答
我在机器学习方面还是新手，我一直在努力扩大我对机器学习的认识。对于我的第一个项目，我想分类一个推特是自杀还是没有使用梯度提升算法。
我知道ml模型不能处理纯文本，这就是为什么我们必须将它们表示为数字。这些数值将是机器学习模型的输入特性(如果我错了，请纠正我)。
但我不明白的是，这些数字/向量是如何被模型处理来训练和预测的。
希望有人能解释纯文本是如何转换成文字的，以及当它们作为机器学习模型的输入时，内部发生了什么。
浏览 0提问于2022-09-06得票数 1
2回答
我是B.Sc毕业生。我的课程之一是“机器学习入门”，我一直想在这门课上做一个个人项目。
我最近听说了不同的人工智能训练来玩游戏，如马里奥，围棋等。
为了训练一个简单的人工智能程序来玩游戏，我需要获得什么知识？对于初学者来说，你推荐什么游戏？
这是我目前在机器学习中所知道的-
课程介绍和机器学习。K-最近邻算法和K-均值算法
统计推断
高斯混合模型(GMM)与期望最大化
可能是近似正确的模型，包括泛化界和模型选择。
基本的超平面算法:感知器和Winnow。
支持向量机(SVM)
核粒
促进弱学习者向强学习者学习: AdaBoost
边缘-感知器
回归
PCA
决策树
决策树修剪与随机林
浏览 0提问于2017-01-04得票数 9
回答已采纳
在教程中，数据集被分成三个不同的集合：(1) data_sets.train、(2) data_sets.validation和(3) data_sets.test。然而，在训练循环中，只使用data_sets.train进行训练。
# Start the training loop.
for step in xrange(FLAGS.max_steps):
start_time = time.time()
# Fill a feed dictionary with the actual set of images and labels
# for this particular
浏览 0提问于2017-01-27得票数 3
1回答
我正在编写一个脚本，使用xgboost包来训练R中的机器学习模型。如果CUDA GPU可用，并且安装了该包的GPU版本，则可以加速模型训练。 是否有可以检查GPU是否可用的功能(最好不安装xgboost以外的其他软件包)？
浏览 26提问于2021-04-19得票数 0
Keras是深度学习库TensorFlow Keras(和其他库)的轻量级包装器，用于帮助构建、训练和部署神经网络和其他机器学习模型。我能用火车图书馆从检查点恢复训练吗？
浏览 2提问于2020-07-01得票数 2
1回答
有没有办法在云中训练你的机器学习模型？还是真的要分批训练？即(在SQL上提取一些数据，然后将其提供给模型)
我想的是从零开始实现我自己的模型，使用随机梯度下降来更新数据库中每一行的参数。
浏览 3提问于2020-01-20得票数 1
回答已采纳
我正在学习如何使用Azure ML Studio执行机器学习。目前，我只尝试过使用Python进行机器学习。 我使用Azure ML和Python运行了相同的机器学习项目，以查看每个产品的结果与均方根误差(RMSE)有多接近。到目前为止，Azure ML和Python的RMSE有很大不同。 我不明白为什么RMSE离得这么远。我能想到的唯一原因是因为Python在训练数据上‘拟合’模型的方式。Python使用以下代码来拟合训练数据 lr = LinearRegression(labelCol='xxxx')
lrModel = lr.fit(train_data) 然而，我不知
浏览 17提问于2019-12-28得票数 0
1回答
我想建立一个二进制分类器机器学习模型。我想利用模型以前的预测作为未来预测的特征，考虑到我的训练样本不是独立的。
是否有一个框架可以通过scikit-learn或任何其他python库来实现这一点？
我知道这个问题可以用基于记忆的神经网络结构来解决，比如RNNs，LSTMs，.，但是我想首先考虑非深度学习方法(通常使用梯度增强模型，基于树的模型，.)
浏览 0提问于2020-10-23得票数 0
回答已采纳
1回答
是否有可能在Cartesi机器内训练机器学习模型？我认为，如果模型是在Cartesi之外训练的，那么，如果结果是否有偏见，就不可能对结果的完整性进行审计。如果一切都在卡特西的话，我想这是可能的。
我看到的项目：
浏览 2提问于2022-06-13得票数 0
回答已采纳
1回答
在使用GATE工具对训练数据运行机器学习算法(SVM)后，我想在测试数据上对其进行测试。我的问题是，我是否应该使用相同的训练数据进行测试，同时，模型如何从测试数据中提取实体，而测试数据没有使用训练数据中学习到的注释进行注释。
我遵循了这个链接上的教程，但在最后，当它谈到将数据集拆分为训练和测试时，它有点令人困惑。
浏览 2提问于2014-08-28得票数 0
我有来自Firestore网站用户的数据。
为了运行机器学习模型，我在Google BigQuery中插入了一些这些数据。
我有训练机器学习模型的经验，但我没有获得新数据预测的经验。
我读到过，我可以在Google云存储中上传这个经过训练的模型，然后把它放到人工智能平台上，但是我不知道我必须遵循的过程，因为新的数据将被插入Bigquery中，使用这些新的数据，我想做预测，然后选择这个预测，然后再把它们放到Firstore中。
我认为这可以用Dataflow (Apache )或Dataflow(气流)来完成，我可以将这个过程自动化，并安排它每周运行所有过程，但我没有使用这种技术的经验，有人能推
浏览 5提问于2019-10-18得票数 2
回答已采纳
2回答
这是我第一次使用蓝色机器学习..。
当我使用相同的训练数据和测试数据训练了两个模型时，当涉及到评估模型时，它会出现误差。
所有的模型都必须有相同的学习者类型。
你知道什么是“学习者类型”的机器学习模式，以及如何告诉学习者类型的模式？
下面是我在蓝色机器学习方面的基本实践的截图：
浏览 3提问于2016-04-21得票数 0
回答已采纳
3回答
我有两个ONNX格式的模型。这两个模型是相似的(都是预训练的深度学习模型，例如。ResNet50模型)。它们之间唯一的区别是，最后一层针对不同的数据集进行了优化/重新训练。
我想合并这两个模型的前k层，如下所示。这应该会增强推理的性能。
为了使我的案例更清楚，这些是来自其他机器学习工具的示例，用于实现此功能Ex。，.
浏览 27提问于2020-08-07得票数 1
我是机器学习的新手。我的机器学习目标是通过分析植物叶片的图像来识别营养缺乏。从我到目前为止发现的关于机器学习模型构建技术的情况来看，理想的做法是使用迁移学习。它似乎是大多数(全部？)可用的迁移学习模型已经在imagenet上进行了训练。
如此所示，在imagenet上训练的迁移学习模型返回树叶图像的“brambling”分类。不，这张图片不是一只小雀鸟。
我该如何解释这种错误分类？迁移学习仍然是继续下去的正确方式吗？在继续基于叶子图像对营养缺乏进行建模之前，我应该考虑/获得更好的理解？
谢谢。
浏览 9提问于2021-09-24得票数 0
我正在寻找一个机器学习算法，可以处理输入数据，有丢失的参数。
示例:使用包含10个输入参数的数据对模型进行培训。利用具有NaN值的10个参数中的2个参数进行预测。
是否有任何机器学习算法可以用这些数据进行预测，或者我是否必须首先处理NaN值？是否有一种机器学习算法具有处理NaN值的内置函数？
也许我的问题还不够明确。我确实拥有训练模型所需的所有数据，而且我知道如何在培训之前处理数据中缺失的值。我的问题有不同的意思。一旦我对模型进行了训练，并且我将在生产、实时数据中使用该模型，并且发生了这样的情况，例如，在我训练该模型的10个特性中，只有8个特性的值，还有一个算法仍然可以执行预测吗？我的第一个
浏览 3提问于2019-10-22得票数 1
最近我正在读一些关于保护隐私的机器学习的论文。
在模型发布时，有些工作引入了差异隐私的思想，以保护训练数据集的隐私。基本框架如下：
可信方(称为TP)拥有明文中的培训数据集。然后TP执行一些机器学习任务，并生成一个预测模型。在训练过程中，TP会在参数中添加一些噪声(省略细节)，这样得到的模型是有噪声的，但仍然足够精确。然后从理论上证明了差分隐私的概念得到了实现。
同时，我知道一些“模型反转攻击”，可以恢复训练记录，只给特定的标签和黑匣子访问模型。
那么，在隐私保护机器学习的背景下，差异隐私承诺或保证是什么？
具体来说，假设我是训练数据集中一条记录的所有者。TP发布了一个嘈杂的模型，并告诉我它有
浏览 0提问于2018-01-18得票数 3
我使用Weka Java实现了使用机器学习的分类算法。我想将训练好的模型部署到RasberryPi上进行测试。我希望训练好的模型在每次接收到新数据并进行预测时都会更新。有没有办法用weka Java做到这一点?？你能分享一下你的想法吗？
提前感谢
浏览 0提问于2017-11-15得票数 0
因此，我是机器学习的新手，并且一直在努力使我的模型从json文件提供的数据训练。我可以通过csv进行训练。此外，由于json文件并不简单，因此不能将json转换为csv。
浏览 0提问于2020-12-16得票数 0
目前，我正在与Scikit- Learning & Tensorflow一起阅读“机器学习的手”，我想知道为什么q-学习需要演员模型和评论家模型来学习？
在第465页中，它指出：
正如我们将要看到的，我们将使用的训练算法需要两个DQN，它们具有相同的结构(但参数不同)：一个将用于在训练期间驱动Pac-Man女士(演员)，另一个将观察演员，并从它的试验和错误中学习(评论家)。
这是一个典型的Q学习实现吗？如果不是，什么是？
浏览 0提问于2018-05-10得票数 3
回答已采纳
Google机器学习引擎的最新运行时版本1.4支持Python 3.5：
如何使用Python3.5在ML引擎中训练模型？
谢谢
浏览 0提问于2017-12-20得票数 5
4回答
我想用大量的训练数据来训练一个深度模型，但是我的桌面没有能力用这些丰富的数据来训练这样深层次的模型。
我想知道是否有任何免费的云服务可以用来训练机器学习和深入学习模型？
我还想知道是否有云服务，在那里我可以跟踪培训结果，即使我没有连接到云，培训也会继续进行。
浏览 0提问于2017-11-03得票数 40
回答已采纳
2回答
是否有一组机器学习算法不需要训练，如果一组有标记和未标记的数据立即给出答案，就直接给出答案？
跳过模型的显式训练是否可以在有监督或无监督的机器学习算法中跳过？我不是说要使用经过训练的模型。
浏览 0提问于2018-05-13得票数 2
在机器学习中，当我们训练一个模型时，例如
vect = CountVectorizer(min_df=5, ngram_range=(1,2)).fit(X_train)
X_train_vectorized = vect.transform(X_train)
model = LogisticRegression()
model.fit(X_train_vectorized, y_train)
predictions = model.predict(vect.transform(X_test))
然后用测试集进行预测，我们的模型是否在进行多个预测之后才学习测试集？
浏览 0提问于2019-04-23得票数 2
2回答
在建立机器学习模型时，有不可训练的参数可以吗？或者这会在模型中产生错误吗？我搞不懂什么是不可训练的参数，以及如何在此基础上修正模型。
浏览 0提问于2018-08-20得票数 3
回答已采纳
该模型是否在沃森机器学习、其他一些第三方引擎或OpenScale中的微服务中接受过培训？ 模型训练完成后，它在哪里得到服务？我可以检查/修改模型吗？
浏览 12提问于2019-04-12得票数 0
大多数有监督机器学习问题的基本过程是将数据集分为训练集和测试集，然后在训练集上训练模型，并在测试集上评估其性能。但在许多(大多数)环境中，例如疾病诊断，将来会有更多的数据可用。我如何使用它来改进模型？我需要从头开始重新训练吗？如果是这样的话，什么时候是重新训练的合适时间(例如，特定百分比的额外数据点)？
浏览 1提问于2021-02-17得票数 0
2回答
我有50,000幅图片的样本，其中一些图片如下：
📷
$\qquad$
📷
$\qquad$
📷
$\qquad$
📷
$\qquad$
📷
与这些图像相关联的是具有最大像素大小的数字的标签。我的目标是建立一个机器学习模型，根据像素大小预测图像中最大的数字。
为此，我在下一个模型上使用了迁移学习，但只获得了60%的准确率。
考虑到这实现使用传输学习来训练模型来预测MNIST数字，我现在想要裁剪每个训练图像，只保留最大的数字，然后使用连系实现来训练模型。
所以，我的问题是，我如何裁剪训练图像，以保留每幅最大尺寸的图像中的数字。
浏览 0提问于2018-03-17得票数 1
2回答
ML模型的保存与重用
、、、
首先，让我自我介绍一下。我是一位年轻的研究员，我对机器学习很感兴趣。我创建了一个模型，经过训练、测试和验证。现在我想知道是否有办法拯救我受过训练的模型。
我也有兴趣知道模型是否保存了培训。
最后，是否有一种方法可以使用保存(并经过训练的)新数据的模型，而不必再对模型进行培训？
我和蟒蛇一起工作！
浏览 8提问于2022-06-21得票数 -1
一般情况下，机器学习模型是建立在数据集上的。我想知道是否有任何方法来生成合成数据集使用这种经过训练的机器学习模型，保持原始数据集的特点？
原始数据->建立机器学习模型->使用ml模型生成合成数据.！
有可能吗？如果可能的话，请告诉我相关的资料。
浏览 0提问于2015-04-01得票数 22
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
