2回答
我正在学习tensorflow，我在理解如何正则化成本函数时遇到了一些问题。我已经看过了，我找到了很多不同的答案。有人能告诉我如何使成本函数正则化吗？似乎大多数人将每个权重正规化，并将最终成本函数正规化，但在课程中没有提到这一点。哪一个是正确的？
浏览 13提问于2019-03-07得票数 0
回答已采纳
2回答
一些层有正则化损失。我希望有一个只跟踪正则化损失的“指标”，这样我就可以(从总损失中)在进度条中单独看到正则化损失在训练过程中是如何演变的。此外，考虑到指标保存在历史对象中(由fit返回)，我可以很容易地绘制并保存(到文件中)训练结束时的正则化损失。 如何编写仅用于正则化损失
浏览 10提问于2020-04-26得票数 2
1回答
在神经网络中，正则化(如L2、退出)通常被用来减少过度拟合。例如，下面的情节显示了典型的损失相对于时代，有和没有辍学。实线=列车，虚线=验证，蓝色=基线(无辍学)，橙色=与辍学。重量正则化的行为类似。
正则化延迟了验证损失开始增加的时代，但正则化显然没有降低验证损失的最小值(至少在我的模型和教程中是如此)。如果我们在验证损失最小时使用早期停止训练(以避免过度拟合)，如果正则
浏览 0提问于2019-09-11得票数 1
回答已采纳
我希望能够用TensorBoard监视我的模型正则化损失的演变(我使用的是TensorFlow 2.1)。
默认情况下，回调会记录它们。
似乎不支持这一点。对吗？然而，这个例子显示了如何在每个时代结束时监视标量，而我正在寻找在每个批处理结束时收集标量的东西，并在每个时代
浏览 5提问于2020-02-18得票数 3
现在，我正在测试正则化以及如何使用它们。在我看来，在有和没有正则化的训练课上，损失历史的结果似乎增加了正则化的术语，对吗？当我的模型没有正则化项时，损失值从小于1开始，但是当我用正则化(L1L2)对模型进行再训练时，相同问题的损失值从500开始。我得到的唯一合乎逻辑的解释是，Keras在增加正则化项之后报告了<
浏览 0提问于2018-08-12得票数 2
回答已采纳
1回答
为此，我们在损失函数中添加了一个稀疏正则化项。但我无法理解如何将这个正则化项添加到损失函数中，以帮助我们阻止某些隐藏的单位触发？。
浏览 2提问于2020-05-12得票数 0
3回答
据我所知，岭回归只是有一个优化问题的损失函数加上正则化项(L2范数在岭的情况下)。但是，我不确定损失函数是否可以用非线性函数来描述，还是需要是线性的。在这种情况下，如果损失函数需要是线性的，那么据我所理解的岭回归，只是执行线性回归加上L2-范数的正则化。如果我错了，请纠正我。
浏览 0提问于2020-03-13得票数 8
回答已采纳
1回答
正如你所看到的，训练损失比开发损失低，所以我想:我有(合理的)低偏差和高方差，这意味着我是过度拟合，所以我应该增加一些正则化:辍学，L2正则化和数据增强。当培训损失低于验证损失时，你是否会过度适应，或者只有当验证损失恢复时？如果验证损失较低，选择高方差的模型可以吗？我找到了这是关于类似问题的答案，但是如果您的问题太复杂了，您无法找到一个可以非常适合的体系结构，然后对体系结构进行适当的正则化<
浏览 0提问于2019-01-17得票数 3
1回答
我在Python中实现了梯度下降，使用MSE作为损失函数执行正则化多项式回归，但在线性数据上(以证明正则化的作用)。所以我的模型在表格下面：在我的损失函数中，R代表正则化项：让我们以L2-范数作为正则化，损失函数w.r.t的偏导数。妇女的情况如下：最后，使用恒定的学习速率更新了相关系数：问题是，我不
浏览 2提问于2019-12-27得票数 1
回答已采纳
1回答
我对使用正规化的地方感到困惑。在理论上，我看到正则化已经与损失函数相结合。但是在Keras的时间实现中，我看到正则化已经被用于神经网络层。那么如何计算最终的损失函数呢？
浏览 4提问于2022-06-02得票数 0
3回答
什么是体重衰减？
、、、
softmax回归Softmax回归将一个softmax非线性应用于网络的输出，并计算归一化预测和标签的1-热编码之间的交叉熵。对于正则化，我们还将通常的质量衰减损失应用于所有学习变量。模型的目标函数是交叉熵损失和所有这些重量衰减项之和，由损失()函数返回。我在论坛上读过一些关于什么是重量衰减的答案，我可以说，它被用于正则化的目的，以便计算权重的值，以获得最小的损失和更高的精确度。在上面的文章中，我
浏览 14提问于2017-08-07得票数 2
回答已采纳
我试图重现一篇深度学习论文的实验结果， 我注意到损失函数，类别交叉熵具有L1正则化，可以在下面看到， ? 那么，如何计算模型复杂度并在Keras/Tensorflow中添加正确的自定义损失函数呢？
浏览 38提问于2019-10-15得票数 1
回答已采纳
我试图实现一个损失函数，其中的变量在卷积层的计算是必需的。官方文件给出的一种方法涉及损失函数中的变量：# Weight regularization.
model.add_loss(lambda: tf.reduce_mean(x.ker
浏览 6提问于2020-06-19得票数 2
回答已采纳
我有一大堆关于正规化和偏颇的工作方式的问题。第二，在获得损失值时，不考虑正则化。是对的吗？我的意思是损失只是包含损失函数的值。据我所知，它只是在梯度计算中考虑正则化。是对的吗？
第三，当caffe得到梯度时，它是否也考虑了正则化中的有偏值？还是仅仅考虑了网络在正规化过程中的权重？
浏览 1提问于2016-08-25得票数 0
回答已采纳
我想知道如何在TensorFlow中的LSTM中实现l1或l2正则化？TF不提供LSTM的内部权重，所以我不确定如何计算范数并将其添加到损失中。目前，我的损失函数仅为RMS。
的答案似乎还不够。
浏览 2提问于2016-06-17得票数 1
如果我考虑一个数据集，对于相同的损失函数和相同的优化器，哪种正则化技术(L1正则化或L2正则化)将输出最高的稀疏权重？
浏览 4提问于2019-09-17得票数 1
在机器学习成本函数中，如果我们想要最小化两个参数的影响，比如theta3和theta4，似乎我们必须给出一个很大的正则化参数值，就像下面的等式一样。
我不太确定为什么更大的正则化参数会减少而不是增加影响。这个函数是如何工作的？
浏览 0提问于2017-06-25得票数 4
1回答
我需要找到这些变量的组合，以便使我的一个目标最大化，同时最小化另一个目标。我编制了一个随机生成变量的数据表，其中包含了两个目标函数的各自值。请建议我如何用神经网络来解决这个问题。我的目标函数涉及热力学计算。如果有兴趣的话，您可以在这里查看目标函数：
浏览 0提问于2019-07-15得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
