
我有一个二进制分类任务。我在这里显示了损失曲线。我每15次就将学习率降低1/10。在模型中也有辍学现象。正如你所看到的,我正试图找出模型训练的最佳点。我最初的假设是,这个点出现在28时代附近,因为验证错误几乎保持不变,然后略有增加。然而,我仍然想知道这是好的,还是模型确实过分合适。
另一个让我担心的是,训练曲线和验证曲线非常接近。这是一种预期的行为吗?
作为一个新手,我非常感谢你在这里提供任何帮助。
发布于 2020-02-03 17:14:48
我将逐一讨论你的问题:
我最初的假设是,这个点出现在28时代附近,因为验证错误几乎保持不变,然后略有增加。然而,我仍然想知道这是好的,还是模型确实过分合适。
DS/ML手册上的常识表明你是对的。你应该继续训练,直到验证损失没有开始上升为止。请记住,一些过度适应是不可避免的(一个好的模型不是一个消除过度,这是不可能的,但一个模式,能够阻止它)。
另一个让我担心的是,训练曲线和验证曲线非常接近。这是一种预期的行为吗?
即使在验证损失高于培训损失之后,您也应该继续进行培训,只有在验证损失开始增加时才停止。理想情况下,您应该有一个非常轻微的过度拟合,与验证集以上的培训,其斜率是平的。这意味着:我不能在不让事情变得更糟的情况下更多地训练我的模特。
发布于 2019-01-09 15:33:32
是的,看起来你的模型在28世纪后慢慢进入过拟合区域,因为训练损失正在减少,验证损失也在缓慢增加。
这一点之后,验证损失增加被认为是一个很好的停止点。请参阅这文章中右边的图表。
另一种确认在这一点之后应该停止的方法是使用模型计算预测(从以后的某个时期),并检查度量标准(例如精度)。这些指标应该比具有验证损失最小的epoch模型更糟糕。
“我关心的另一个问题是,训练曲线和验证曲线非常接近。这是一种预期的行为吗?”
这可能是因为您的培训和验证数据过于相似。此外,请注意,您没有错误地为培训和验证提供相同的数据。但是,一般来说,这是可能发生的--曲线可能接近。这取决于问题和数据。
https://datascience.stackexchange.com/questions/43725
复制相似问题