我们的训练/验证损失曲线很好，但测试性能受到影响
训练/验证损失曲线很好，但测试性能受到影响可能是由于以下原因导致的：
- 过拟合（Overfitting）：训练模型在训练数据上表现良好，但在测试数据上表现较差。这可能是因为模型过于复杂，过度拟合了训练数据的特征，导致对新数据的泛化能力较差。解决过拟合问题可以采用正则化技术（如L1、L2正则化）、增加训练数据量、减少模型复杂度等方法。
- 数据不平衡（Imbalanced Data）：训练数据中不同类别的样本数量差异较大，导致模型在测试数据上对少数类别的预测性能较差。解决数据不平衡问题可以采用欠采样、过采样、集成学习等方法。
- 数据预处理不当：训练数据和测试数据在预处理过程中存在差异，导致模型在测试数据上表现不佳。确保训练数据和测试数据的预处理过程一致，包括特征缩放、特征选择、数据归一化等。
- 模型选择不当：选择的模型可能不适合解决特定的问题，或者模型的超参数设置不合理。需要根据具体问题选择合适的模型，并进行调参优化。
- 数据泄露（Data Leakage）：训练数据中可能包含了测试数据的信息，导致模型在测试数据上表现良好。避免数据泄露可以在划分训练集和测试集时严格保持数据的独立性。
- 硬件或环境问题：测试性能受到硬件设备或环境配置的限制，例如测试数据量过大导致内存不足、网络延迟等。确保测试环境的稳定性和充足的资源。
针对以上问题，腾讯云提供了一系列解决方案和产品：
- 模型训练与部署：腾讯云机器学习平台（https://cloud.tencent.com/product/tensorflow）提供了强大的模型训练和部署能力，支持各类深度学习框架，帮助用户快速构建和部署模型。
- 数据处理与存储：腾讯云对象存储（https://cloud.tencent.com/product/cos）提供了高可靠、低成本的数据存储服务，适用于大规模数据的存储和处理需求。
- 弹性计算与资源调度：腾讯云弹性计算（https://cloud.tencent.com/product/cvm）提供了灵活的计算资源调度能力，可根据实际需求动态调整计算资源，提高测试性能。
- 安全与隐私保护：腾讯云安全产品（https://cloud.tencent.com/product/security）提供了全面的安全解决方案，包括数据加密、访问控制、漏洞扫描等，保障用户数据的安全性和隐私保护。
总结：针对训练/验证损失曲线很好，但测试性能受到影响的问题，可以通过合适的模型选择、数据处理与存储、弹性计算与资源调度、安全与隐私保护等腾讯云产品和解决方案来提升测试性能。
相关·内容
简言之：
我已经训练过一个自动编码器，它的验证损失总是高于它的训练损失(见附图)。
我认为这是一个过度适应的信号。但是，我的自动编码器在测试数据集上表现良好。我在想，如果：
1)参照下文提供的网络体系结构，任何人都可以深入了解如何减少验证损失(以及验证损失如何可能大大高于培训损失，尽管自动编码器在测试数据集上的性能良好)；
2)如果培训和验证损失之间存在这样的差距实际上是一个问题(当测试数据集上的性能实际上很好时)。
详情：
我用Keras编码了我的深层自动编码器(下面的代码)。该体系结构为2001 (输入层)- 1000 - 500 - 200 - 50 - 200 - 500 - 100
浏览 1提问于2019-10-10得票数 0
2回答
我已经附上了一个数字，其中包含6个子图以下。每一个都显示了在多个时期的训练和测试损失。通过查看每一张图，我如何才能看到哪一张是最好的？哪些是超配的，哪些是不足的。哪个年代的情况每况愈下？
📷
浏览 0提问于2019-05-15得票数 3
我目前正在通过使用cifar10图像来训练CNN模型(50000用于培训，另10000用于验证)。
我绘制了训练损失、验证损失和训练迭代的准确性：
📷
我不确定什么时候该停止训练，应该在1250迭代前后停止训练吗？还是应该在迭代5000左右停止，因为我可以获得最大的验证精度？
为什么被覆盖的模型可以有一个更高的验证精度？
浏览 0提问于2019-06-15得票数 5
回答已采纳
利用matlab训练二值分类神经网络模型，给出了在隐层中使用20个神经元得到的图。交叉熵与年代之间的混淆矩阵和图。
为了防止模型中的过度拟合，损失图中的训练曲线应该与验证曲线相似。
但在目前的情况下，第三张图显示了验证曲线与训练相似的曲线，尽管与上述曲线中两条曲线的分叉曲线相比，总体精度较低。
WHy，这是正在发生的，我在理解这些曲线时做错了什么？
📷
📷
📷
📷
浏览 0提问于2018-05-19得票数 3
1回答
验证损失和训练损失之间的差距
、、、、
下面是我的CNN模型的验证损失和训练损失的图表。
验证损失随着训练损失的减少而减少，但两个函数之间存在差距。
这是什么意思？模型不是过拟合，因为验证损失正在减少，但是模型是否有问题，因为两个函数之间存在差距？
我是个新手，所以请帮帮忙。
浏览 30提问于2020-05-19得票数 3
2回答
我的学习曲线是否过正？
、、、、
我正致力于多分类任务(总共6个班)，并获得了几乎完美的训练和测试的准确性(超过99%)的基础上，我的训练cnn模型。我想知道，我受过训练的模特是否有过度适应的问题。附件是该模型的损失和准确性的学习曲线。整个训练数据集包含大约30k样本，训练与验证数据的比率为4:1。我的损失曲线是否显示过拟合？
浏览 7提问于2022-10-10得票数 -1
回答已采纳
2回答
我使用CNN进行短文本分类(对产品标题进行分类)。代码来自
训练集、测试集、验证集的准确率都很低：
损失是不同的。验证的损失是训练集和测试集损失的两倍。(我不能上传超过2张照片。对不起！)
训练集和测试集通过爬虫从web上获取，然后以7:3的比例分割，验证来自真实的应用程序消息，并通过手动标注进行标记。
我几乎尝试过每一个超参数。
我尝试过上采样，下采样，无采样。
批量大小为1024、2048、5096
dropout为0.3、0.5、0.7
30、50、75的embedding_size
但是这些都不起作用！
现在我使用下面的参数：
批量大小为2048。
embedding_size是
浏览 0提问于2016-12-27得票数 2
3回答
我使用Tensorflow对象检测API来检测和定位图像中的一类对象。为此，我使用了预先训练过的faster_rcnn_resnet50_coco_2018_01_28模型。
在训练模型后，我想要检测不足/过拟合。我看到了训练的损失，但是在评估了Tensorboard之后，只显示了mAP和精度指标，而没有损失。
这是否有可能在Tensorboard上策划一个验证损失？
浏览 1提问于2018-10-17得票数 2
回答已采纳
1回答
文本分类问题
、、、
我是ML的新手，我试着把文本分成两类。我的数据集是使用Tokenizer从医学文本中创建的，它是不平衡的，有572条记录用于训练，471条记录用于测试。 对于我来说，很难建立具有不同预测输出的模型，几乎所有的值都是相同的。我已经厌倦了使用this等示例中的模型，并亲自调整参数，但输出总是毫无意义 下面是标记化并准备好的data 下面是脚本：Gist 我使用的示例模型 sequential_model = keras.Sequential([
layers.Dense(15, activation='tanh',input_dim=vocab_size)
浏览 15提问于2019-05-09得票数 0
回答已采纳
我一直在尝试用转移学习的方法来检测植物病害。我首先选择了ResNet50。我还做了一个基线模型，也就是CNN模型。在resnet50中，我使用了交叉熵损失，并对模型进行了30个历元的训练。我也做了批量正常化。初期1次损失为112.5250次，训练损失为87.512次。但是，在最后一个时期，验证损失为2.1660，验证损失为1.8905，验证精度为0.995。模型的总体精度为98.8%，模型似乎也不过分适合。
在训练模型之前，我进行了超参数优化，利用贝叶斯优化方法优化了学习速度和学习动量。我使用交叉验证优化了重量衰减。我进行了批量归一化。在此之前，我对模型进行了训练，没有任何优化。我只是假设学习
浏览 0提问于2021-05-22得票数 1
回答已采纳
1回答
我试图训练一个LSTM网络，超过200个时代，隐藏层的大小为100和1密集层后的LSTM层。同样的，我也用了10个批次。基本上，我感到困惑的是，为什么我得到的损失曲线(以MAE作为损失标准和)看起来与一般的好模型非常不同。我相信可能的原因，可能是因为训练所涉及的时间比理想的多，而且是不适合或过适应的，但我不知道如何认识相同的情况。
模型的损失曲线是
📷
我想确定这个模型是过度拟合的还是低端的，如果我需要减少训练时间(比如说从200减少到20?).Being是新的，是否有任何具体的点来确定什么时候停止训练过程(例如基于这个损失曲线)。在这方面的任何帮助都将受到赞赏。
浏览 0提问于2019-03-26得票数 4
我正试图通过微调一个VGG16网络(在ImageNet上进行预先培训)来进行传输学习，以便对一个小得多的数据集(11000幅图像，200个类)进行图像分类。实际上，我只训练修改后的VGG16网络的最后3个FC层。我在3个FC层中的两个增加了辍学，概率为0.5。
所以，当我在这个网络上训练时，我不会做任何花哨的预处理，只会用原始作者给出的VGG_MEAN值减去图像中的每个通道。
所以问题是，培训似乎进行得很好，损失大幅下降，并稳定在某一值附近，在特定数量的批次培训之后，我正在监控网络在验证集(20%的数据)上的预测精度。我注意到，平均验证的准确性并没有显示出任何改善的趋势--而且在整个培训过程中
浏览 4提问于2016-11-09得票数 0
回答已采纳
我正在使用Keras使用model.train_on_batch(x_batch，y_batch)开发在线学习应用程序。我试着递增地添加培训数据，并列出测试和培训的损失。结果如下，
很高兴看到测试损失正在减少，但正如我在Andrew Ng的ML类中了解到的那样，如果我有一个像DNN这样的强大模型，那么训练损失应该会随着我递增地添加更多的训练数据而增加，而测试损失应该会减少。所以我真的很困惑。他幻灯片的屏幕截图下面。
浏览 3提问于2017-03-30得票数 4
回答已采纳
1回答
我应该如何获得这些值，以了解我的模型是过分适合还是不合适？例如，当train_error= 0.1和dev_error=0.25时，模型过度是可以理解的。但我不知道我的模型提供的结果中哪一个表明了上述错误。损失值是指示此度量值还是(1-精度)的？
这是我的模型训练结果的一部分：
Epoch 152/250
100253/100253 [==============================] - 12s 118us/step - loss:
0.5306 - acc: 0.8568 - val_loss: 1.1438 - val_acc: 0.7550
浏览 2提问于2019-09-26得票数 0
回答已采纳
2回答
在4个班级上训练一个模型，并使用TensorBoard跟踪结果。我的Graph如下所示：
绿线: val精确度
红线显示:训练精度
您可以看到，我的val acc图跳跃得很快。这是正常的吗？
浏览 2提问于2020-08-13得票数 1
2回答
这是一个过载的网络吗？
、、、、
我在keras中训练了一个神经网络，得到了这个结果，我想知道这是否太合适了。
我有怀疑，因为我读过，过度拟合是产生时，一个网络是过度训练，它发生时，验证损失增加。
但在这种情况下，它并没有增加。它保持不变，但训练损失减少。
额外信息
以这种方式拆分单个数据集：
70%的数据集用作培训数据
30%的数据集用作验证数据
500时代训练
2000时代训练
培训损失: 3.1711e-05验证损失: 0.0036
浏览 5提问于2017-04-03得票数 2
1回答
假设我们有两个模型。1模型训练精度为0 85 1模型，验证精度为0 78 2模型，训练精度为0 79 2模型，验证精度为0 77。
哪一种模式应该优先考虑？还是我更喜欢第二款，即使第一款有更高的精度？
浏览 6提问于2022-06-03得票数 -2
2回答
损失曲线过拟合
、、、
📷
我有一个二进制分类任务。我在这里显示了损失曲线。我每15次就将学习率降低1/10。在模型中也有辍学现象。正如你所看到的，我正试图找出模型训练的最佳点。我最初的假设是，这个点出现在28时代附近，因为验证错误几乎保持不变，然后略有增加。然而，我仍然想知道这是好的，还是模型确实过分合适。
另一个让我担心的是，训练曲线和验证曲线非常接近。这是一种预期的行为吗？
作为一个新手，我非常感谢你在这里提供任何帮助。
浏览 0提问于2019-01-09得票数 0
2回答
什么时候停止训练？
、、、、
我正在使用bvlc_reference_caffenet进行培训。我正在做训练和测试。下面是我受过训练的网络的一个示例日志：
I0430 11:49:08.408740 23343 data_layer.cpp:73] Restarting data prefetching from start.
I0430 11:49:21.221074 23343 data_layer.cpp:73] Restarting data prefetching from start.
I0430 11:49:34.038710 23343 data_layer.cpp:73] Restarting data
浏览 2提问于2017-04-30得票数 2
回答已采纳
我训练了一个四层神经网络
model = Sequential()
#get number of columns in training data
n_cols = X_train.shape[1]
#add model layers
model.add(Dense(8, activation='relu', input_shape=(n_cols,)))
model.add(Dense(8, activation='relu'))
model.add(Dropout(rate = 0.05))
model.add(Dense(8, activation=&
浏览 0提问于2019-08-20得票数 1
回答已采纳
2回答
弄清楚损失和精确曲线
、、、、
这是我一次又一次遇到的问题。损失(在这种情况下是交叉熵)和不合理的精确图。下面是一个示例：
📷
在这里，我正在CIFAR10上训练一个CIFAR10。优化器为SGD，学习速率为0.1，Nesterov动量为0.9，重量衰减为1e-4 .在60,120,160年代，学习率降低到一个⅕。
最初，这些曲线都很好，很好；这意味着训练和验证损失在减少，准确性也在增加。
在65~70年代附近，你会看到过度适应的迹象；如瓦尔。损失开始增加和瓦尔。精度开始下降(红色框)。这里还是没有什么奇怪的地方。
现在有两件事对我来说没有意义：
在120 (其中LR减少)之后，val。损失和准确性开始改善几个时代(绿色盒子
浏览 0提问于2020-08-19得票数 3
我正在研究时间序列多元数据的分类。通过进行主成分分析，我将多变量转换为单变量，并将其输入角点中的conv1d中.
然而，我得到了一个非常高的准确性和低损失，无论是在验证和培训。我怎么能证明这是正当的呢？
我尝试过交叉验证，但是结果并没有太大的不同。我正在使用亚当优化器(学习率:0.0001)。有了0.001，我的模型就无法收敛。
我已经确保我没有混合培训和验证数据集。我对这两个数据集进行了相互独立的洗牌。我对3728个样本进行了训练，在610个样本上进行了验证。
我们能期望这样高精度的二进制分类吗？
📷
浏览 0提问于2019-06-22得票数 5
回答已采纳
1回答
📷
📷
在训练我的模型后，我很难理解角点中的曲线val_loss和loss。
有人能帮我理解吗？另外，我的模特是超身还是不合身？
浏览 0提问于2019-09-01得票数 0
回答已采纳
1回答
我很确定答案是否定的，但我想确认.
在训练神经网络或其他学习算法时，我们将计算代价函数J(θ)作为我们的算法对训练数据的拟合程度的表达式(较高的值意味着它不太适合数据)。在训练我们的算法时，我们通常希望看到J(θ)随着梯度下降的每一次迭代而下降。
但我只是好奇，对我们的测试数据计算J(θ)有价值吗？
我认为答案是否定的，因为我们只对测试数据进行了一次评估，我们只能得到J(θ)的一个值，而且我认为除了与其他值相比之外，它是没有意义的。
浏览 3提问于2017-12-16得票数 2
回答已采纳
4回答
对训练集模型进行评价(即训练训练模型，在同一训练集上评估回归误差/精度)，并将评价结果与模型回归误差/交叉验证(我们在同一训练集上进行交叉验证)和测试集的精度进行比较，以检查过拟合/不拟合是否是一种很好的做法吗？
据我所知，我们不应该对训练集的模型进行评估。然而，我看到一些讲座似乎促进了对训练错误的评估。
浏览 0提问于2020-08-20得票数 1
1回答
解释验证损失
、、、
我是神经网络的新手，我不知道如何准确地解释我得到的验证损失的结果。我正在尝试使用tensorflow对图像进行分类。如果我绘制每个时期之后得到的结果，我会得到以下结果：enter image description here 我的训练精度和验证精度提高了，我的训练损失减少了，但验证损失虽然下降了一些，但并不是非常接近训练损失。 我该如何解释这个呢？我不理解验证损失的变化。验证损失没有像训练损失减少那么多的事实是否意味着我有过度拟合？ (以防万一，我做了25个时期，批量:128，学习率:0.0001，训练/验证分割:0.40) 谢谢你的帮助
浏览 53提问于2020-08-11得票数 1
回答已采纳
假设你遇到了一个损失曲线，如下所示。在何种情况下，你应该相信这个模型？最初的幸运猜测还是在它稳定下来之后？
更重要的是，为什么？
📷
浏览 0提问于2019-06-26得票数 1
回答已采纳
1回答
不合身，不合身还是很合身？
、、、、
因此，我为二进制文本分类任务训练一个lstm rnn，而我对丢失结果的理解有一些问题。训练集约为70万个示例，验证集约为35000个示例。验证集和训练集是独立的，所以我不对验证集中的数据进行培训。根据我在学校学到的知识，在检查其他职位时，验证损失应该略高于培训损失，这样才是一个很好的匹配。然而，在我的情况下，正如您所看到的，验证损失波动很小。我用二元交叉熵作为损失函数。
我在每300批培训数据上运行验证集，因为我将批处理大小设置为128。因此，每300批训练数据就意味着该算法已经大致通过了验证集的大小，因此每300批就感觉像是一个很好的测量点。
不过，我不太明白如何解释这些结果。精度较好，3个
浏览 0提问于2018-03-28得票数 1
我对在训练阶段如何使用验证集感到困惑(像CNN这样的神经网络)？在Matlab或python(Keras)这样的平台中，我将数据集分为训练集、验证集和测试集。我知道验证集用于调优超参数(如神经元数目和学习速率)，假设使用SDG优化器，如何根据验证集进行调优？验证集是否只是给出了神经网络对不可见数据(验证集)表现的指示，然后基于此我手动设置了超参数？还是自动(优化器)调优超参数？
浏览 0提问于2020-07-19得票数 2
回答已采纳
2回答
理解学习曲线
、、、
我想用下面的两个例子来说明我对学习曲线的理解。为了澄清我的理解，我在这里试验了500到1500个小数据集。
我从下面的学习曲线中了解到，底层数据必须有很大的噪声，因此学习算法无法概括底层函数。这个学习曲线既不表示高偏差，也不表示方差。仅仅是总体数据样本并不能很好地反映结果。我对这个学习曲线的解释是否正确？获取更多的数据会有帮助吗？
📷
从下面的学习曲线来看，我认为这是一个很好的学习曲线。因为当我们增加更多的样本时，训练和交叉验证的错误分类错误都在下降。在大约240个样本中，训练集和验证集之间的差值最小。这是否意味着高方差，因为培训和验证永远不会收敛，即使两者之间的错误分类误差增量相当低？
📷
浏览 0提问于2021-01-19得票数 3
回答已采纳
我对神经网络非常陌生，我正在训练CNN进行图像分类，在训练过程中，我得到以下信息：
📷
这告诉我训练的损失和准确性，验证的损失和准确性，如果我错了，请纠正我。
所以，我的问题是：
，这些量是什么？有什么方法可以理解我，如果我看他们的问题做得很好的话？
浏览 0提问于2020-12-09得票数 0
回答已采纳
2回答
我收集了大约1,500个标记数据并用yolo v3进行了训练，得到了~10的训练损失，验证损失~ 16。显然，我们可以使用真实的测试数据来评估模型的性能，但我想知道是否有一种方法来判断训练损失= 10是否是一个“好”的。或者，这是否表明我需要使用更多的训练数据来查看是否可以将其降低到5或更少？
最终，我的问题是，对于具有预定义损失函数的知名模型，是否存在训练损失的“良好”标准值？
谢谢。
浏览 0提问于2018-06-28得票数 1
1回答
一种分类算法的学习曲线
、、、
我试着理解这个学习曲线的一个分类问题.但我不知道该推断什么。我相信我已经适应过度了，但我不能肯定。
非常低的训练损失，这是非常轻微的增加增加的训练例子。
“在添加培训示例后，逐渐减少验证损失(不平缓)”。不过，我看不出线尾有什么空隙--通常情况下，这在一个过分拟合的模型中是可以找到的。
另一方面，我可能不适合：
不匹配模型的学习曲线在一开始就有较低的训练损失，随着训练样本的增加而逐渐增加，且保持平稳，说明增加更多的训练样本不能提高模型对未见数据的性能。
训练损失和验证损失在最后是相近的。
然而，列车的误差并不大，通常是在不合适的模型上发现的。
我很困惑，你能给我一些建议吗？
📷
📷
浏览 0提问于2022-01-12得票数 2
1回答
验证和测试的准确性差别很大
、、、、
我目前正在处理kaggle中的一个数据集。在训练了训练数据的模型后，我在验证数据上对其进行了测试，得到了0.49左右的准确率。
然而，相同的模型在测试数据上的准确率为0.05。
我使用神经网络作为我的模型
那么，发生这种情况的可能原因是什么，以及如何开始检查和纠正这些问题？
浏览 3提问于2018-02-10得票数 10
回答已采纳
2回答
我在训练CNN来解决三级图像分类问题。我的训练损失平稳地减少了，这是预期的行为。然而，我的验证损失显示出很大的波动。
📷
这是我应该担心的事情，还是我应该选择在我的业绩衡量(准确性)上得分最好的模型？
附加信息:我正在微调一个Resnet-18的最后一层，它是在ImageNet数据上接受过PyTorch预培训的。我必须指出，我在训练阶段使用了一个加权损失函数，因为我的数据非常不平衡。然而，为了绘制损失图，我使用未加权损失来比较验证损失和培训损失。如果不是训练数据集和验证数据集的分布略有不同，我将使用未加权损失(但是它们都是高度不平衡的)。
浏览 0提问于2018-05-02得票数 10
回答已采纳
1回答
我正在尝试使用keras进行多标签新闻分类。我是机器学习的初学者，所以请容忍我。
以下是我的培训损失与验证损失图表：
📷
我知道我的模特太合适了。在测试集上，我的精度为0.89，召回率为0.82，f1score为0.83。据我说，这是高精度和高召回率。所以这意味着一个很好的分类对吧？
此外，这是参数设置：
📷
，我的问题是，为什么在测试集中有高精度和高召回率，但模型在验证集中过于适合。是不是很奇怪？还是我遗漏了什么？
我会上传我的数据集。但是dataset excel文件是800 MB。
请注意，我没有单独的培训集、验证集和测试集。我只有一份文件。第一列是文章，第二列是标签。
我两次使用skl
浏览 0提问于2019-06-12得票数 0
2回答
培训集交叉验证后是否需要测试集？
、、、、
我想引用Aurelien的“与Scikit学习和TensorFlow一起进行机器学习的手”一书中的一段，关于在使用k-折叠交叉验证对训练集进行超参数调整之后对最终测试集的评估：
“如果您进行了大量的超参数优化(因为您的系统最终对验证数据进行了很好的调整，并且在未知数据集上的性能可能不太好)，那么性能通常会比使用交叉验证时稍微差一些。”在本例中情况并非如此，但当发生这种情况时，您必须抵制调整超参数以使测试集看起来更好的诱惑；这些改进不太可能推广到新数据。“-Chapter 2: End- to End Machine Learning Project”
我很困惑，因为他说，当测试分数更差时，交叉
浏览 0提问于2020-08-14得票数 1
回答已采纳
1回答
我是不是太适应了？
、、、、
嗨!我目前正在用黑暗流Yolov2训练我的模型。最优选择是有lr 0.001的SGD。基于这个图表，我的val损失>火车损失，这就意味着它太合适了？如果是的话，建议的行动方针是什么？这似乎很奇怪，因为两种损失都在减少，但val损失较慢。
要了解更多信息，我的训练数据集包含每个类400个图像，只有一个注释，总共有2800个图像。我这样做是为了防止类不平衡，只对每个映像注释一个类实例。我的val数据集由350个图像组成，包含多个注释。基本上，我注释了图像中的每一个对象。我有7节课，我的火车-val-测验分班是80-10-10.这就是瓦尔损失的原因吗？
浏览 8提问于2020-01-07得票数 0
1回答
假设我有我想要用于监督学习的数据，但是目标/类/标签不平衡的情况非常严重。我是否应该：
限制训练集的大小，以确保有一个平坦的目标/类平衡分布(训练集的设计使得每个类的训练样本数目相等，其基础是尽可能高地分割最低出现的类)。例如，如果我的最低级别的课程在我的数据中只出现了50次，而我想要一个80到20次的列车测试分割，那么我决定接受40个样本进行训练，为了达到均衡的目标平衡，在训练中为所有其他样本抽取40个样本，例如，即使最高发的类出现100,000次。
忽略目标平衡，只需专注于列车和测试分割的比例。所以，如果是80-20，从50个样本中拿出40个样本给我出现的最低的班级，以及我最高的班级的10
浏览 0提问于2021-12-05得票数 1
4回答
你能指导我如何解释下面的结果吗？
1)损失< validation_loss 2)损失> validation_loss
似乎训练损失总是应该小于验证损失。但是，在训练模型时，这两种情况都会发生。
浏览 3提问于2018-01-12得票数 11
1回答
不是ML专家，但我训练机器学习模型所遵循的正常流程是经过数据清理、拆分数据集以进行训练，以及使用scikit- learning的列车测试拆分进行测试。
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(X.values,
y.values,
te
浏览 1提问于2020-12-12得票数 0
回答已采纳
我有一个关于logistic回归模型和测试它的技巧的问题。我不太清楚我是否正确理解中华民国曲线是如何建立起来的。
在计算ROC曲线时，是否发生了列车测试分裂，然后对基于训练分割的模型的技巧进行了测试？还是一个基于整个数据的模型只是对整个数据进行了测试？
如果是第一种情况，是否有必要重复进行随机列车试验，并将曲线下的面积平均化？这会给模特的技能带来更多的确定性吗？
谢谢。
浏览 0提问于2021-05-26得票数 0
1回答
多项式回归中的过拟合，比较训练集的均方误差和验证集的均方误差。
我不太理解这张图。在训练模型以学习参数时，我们必须设置λ=0，因为已经选择了λ的值并继续进行培训是没有意义的。，那么，随着λ值的变化，训练错误是如何变化的呢？将数据集划分为有效数据集和训练数据集，在训练集中对模型进行训练，并通过有效集验证验证结果。
浏览 3提问于2021-12-25得票数 1
回答已采纳
我想在一个5倍交叉验证过程中绘制诊断我的方法的学习曲线。我的第一个问题是，学习曲线是否应该绘制出培训和验证的丢失或培训和测试的丢失。我在文献中发现了这两种方法。第二个问题是如何在交叉验证设置中绘制曲线。绘制学习曲线时，我们有一个固定的数据分裂是简单的，但在k倍交叉验证设置，实际上，我们有k个不同的输出，应该总结。我不知道该怎么做。
只是作为参考。在这个链接中，作者用固定的数据分割绘制学习曲线，并绘制训练和验证图。
另一方面，在这个链接中，他们提供了一种方法来总结k-折叠的结果，但是使用训练和测试折叠而不是使用验证。
我不清楚我应该采用哪种方法。
诚挚的问候。
浏览 11提问于2022-12-03得票数 0
如何评估我的MLPClassifier模型？混淆矩阵、准确性、分类报告是否足够？我需要ROC来评估我的MLPClassifier结果吗？此外，我还使用了loss_curve函数，但它只显示了训练集的损失图。
Ps。我在处理多类分类问题。
浏览 5提问于2022-06-20得票数 0
回答已采纳
1回答
我正在使用Tensorflow的对象检测API训练一个神经网络来检测汽车。我使用了下面的youtube视频来学习和执行这个过程。
他的系列文章的第一部分到第六部分。
现在在他的视频中，他提到当平均损失值达到~1或更低时停止训练，这将需要大约10000步。
在我的例子中，现在是7500步，损失值一直在0.6到1.3之间波动。
很多人在评论区抱怨这个系列的假阳性，但我认为这是因为不必要的长时间训练(因为他们不知道什么时候该停止?)这导致了过度拟合！
我想避免这个问题。我希望不是最优的权重，而是相当最佳的权重，同时避免错误检测或过拟合。我也在观察Tensorboard的“完全损失”部分。它在0.8
浏览 15提问于2018-08-23得票数 1
回答已采纳
3回答
当我试图训练的神经网络的验证误差慢慢减小，但没有太多的减少时，是否可以在这一点上停止训练，还是需要增加训练时间直到达到最小的验证误差？
例如，在过去的5个时代中，我的验证错误如下所示：
| end of epoch 1 | time: 3782.50s | valid loss 6.7914 | valid ppl 890.1194
| end of epoch 2 | time: 3802.14s | valid loss 6.6084 | valid ppl 741.2616
| end of epoch 3 | time: 3791.33s | valid loss 6.52
浏览 0提问于2020-03-13得票数 0
回答已采纳
我有CIFAR-10数据集的CNN架构，如下所示：
卷积: 64，64，池完全连接层: 256,256，10批大小: 60优化器: Adam(2e-4)损失:绝对交叉熵
当我训练这个模型的时候，训练和测试的准确性以及损失都有一个非常紧张的行为，不能很好的收敛。
定义的架构正确吗？在每个卷积层之后，我应该有一个最大池层吗？
Conv-2架构是以下文件的一种尝试实现。
下表摘自彩票假说：Jonathan，Michael
📷
谢谢!
浏览 0提问于2020-02-17得票数 0
如果我用tensorflow写一个模型，可能是任何CNN或ANN。我想知道如何发现我的架构或模型中是否有问题。例如。如果我的模型拟合不足或过拟合。如何绘制学习曲线、验证曲线和训练曲线，以及如何分析它们以发现我应该做些什么来提高测试数据的准确性。如何在tensorflow.Any aproach中做所有这些事情，以便在tensorflow中做到这一点，并告诉一些提示，以便在特定模型中找到正确的错误？
浏览 13提问于2018-09-01得票数 0
2回答
当使用具有多个输出的神经网络时，通常建议采取什么最佳策略来尽早停止训练过程？
鉴于我目前正在监视净验证损失(来自n个不同输出神经元的验证损失加在一起)，并且注意到我的训练在一个或多个损失收敛之前就停止了，我想知道在这种情况下的最佳实践是什么。
如果一个人监视净验证损失，或者是否有任何方法实现早期停止，使m out n (m从1到n)输出的验证损失被监视，并且在某一阈值内的所有/振荡收敛时停止训练。
如何在不过度训练一些输出节点的同时又防止其他节点训练不足的情况下实现这一点呢？
我是这个领域的新手，如果你还没猜到的话，如果这个问题没有很好的组合起来，请耐心等待我！
浏览 0提问于2016-09-13得票数 11
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
