准确度和验证准确度保持不变，同时这两个损失都减少了。我试了所有我能找到的东西，还是不起作用 - 腾讯云开发者社区

文章/答案/技术大牛

发布

AI 行业实践精选：利用深度学习识别交通信号灯

本文中，我将对我所使用的方案进行相关叙述。同时，本文也涉及改善模型过程中使用的方法，不管其有用还是没用。别担心，即使你不是人工智能方面的专家，也能读懂本文。在本文中。...在给定的所有照片中，分类器需要识别出场景中是否存在交通信号灯，如果有，则需判断出是红灯还是绿灯。更确切的说，分类器应该仅识别出的，是车辆行进方向的交通信号灯。...通过观察到在某些点上验证集损失开始上升的现象，我注意到了这个事情。在那个点上，我停止了训练，因为模型自此可能不能再继续使用，这意味着学习速率没有时间衰减到零。...可能是因为，跟那些预先训练过细调过的模型相比，该模型学习到了更多不同的特征。模型集使用的3个模型精度分布为94.1%，94.2%和92.9%，总体的精度为94.8%。什么不起作用？很多东西！...我尝试了两种方法，但作用都非常一般：为白天的图像和夜晚的图像训练两个不同的模型；因为模型也要预测是白天还是晚上，所以训练网络需要预测6种结果，而不是3种。

2.8K8 0

教程 | CMU研究者探索新卷积方法：在实验中可媲美基准CNN（附实验代码）

在训练数据上的交叉熵和准确度图表 ? 在验证数据上的交叉熵和准确度图表可以看到，因为在基准和正交卷积之间的所有扭曲，所以结果很糟糕。更重要的是，正交卷积所用的训练时间显著更多。...我使用不同的正交性权重值进行了实验：对应之前的实验中描述的卷积，我尝试了 0.1、1、10、100 和 inf。 ? 所有不同实验的正交性损失起始的正交性损失（没有乘权重）大约为 40。...在验证数据上的交叉熵和准确度但该网络得到的验证准确度/交叉熵却很接近正交性损失为 0 的情况。又再一次失望了，我还希望结果会更好呢。但至少比前面的结果好。...在验证数据上的交叉熵和准确度可以看到，这两个网络都收敛到了同样的验证交叉熵和准确度。而且正交性权重为 0 时，网络的训练交叉熵要高一点。...在训练数据上的交叉熵、准确度和正交性损失 ? 在验证数据上的交叉熵和准确度这些结果确实也对 CIFAR-100 有效。

76510 0

您找到你想要的搜索结果了吗？

是的

没有找到

干货 | 详解scikit-learn中随机森林(RF)和梯度提升决策树(GBDT)的参数调优

不同的损失函数有不一样的初始模型定义，通常，初始模型是一个更加弱的模型（以“平均”情况来预测），虽说支持自定义，大多数情况下保持默认即可。...借助sklearn.grid_search库中的GridSearchCV类，不仅可以自动化调参，同时还可以对每一种参数组合进行交叉验证计算平均准确度。...但是，在训练的现阶段，子模型的偏差增大的幅度比方差减小的幅度更大，所以整体模型的准确度持续下降。该参数的默认值为2，调参后，最优解保持2不变。　　...GridSearchCV找到关于这两个参数的最优解。...如果实在觉得经验和直觉不靠谱，我还尝试了一种策略：首先，我们需要初步地调一次“子采样率”（subsample）和“分裂时考虑的最大特征数”（max_features），在此基础上依次调好“叶节点最小样本数

10.8K5 0

sklearn集成学习：如何调参？

2.1K7 0

SysML 2019论文解读：推理优化

量化（quantization）是一种以准确度为代价旨在降低计算成本的方法。为了在尽可能小地损失准确度的同时尽可能多地减少计算，研究者们已经提出了多种不同的量化方案。...这两种量化方案仅会导致准确度少量下降。当同时部署了 PACT 和 SAWB 时，PACT-SAWB 能在各种变体的 CIFAR10 ResNet 上保证 3% 以内的准确度损失。...都实现了较高的准确度，准确度损失也都最低。...因此，对于这些类型的网络，快捷连接将保持不量化，也由此得名全精度快捷连接。这可被视为 PACT-SAWB 的一种变体，其中由于没有量化，以计算成本为代价能实现准确度的提升。...我选择解读这两篇论文的原因是它们都涉及推理优化这一主题。这两篇论文是从不同角度实现推理优化，而我认为这两个角度都很重要。Choi et al. 的第一篇论文关注的是用量化来提升推理。

1.2K3 0

视频语义分割的高效自动标注技术

实验表明，该方法在保持标签准确性（平均交并比大于真实标注的95%）的同时，将标注整个视频所需的点击次数减少了高达73%。...给定一个目标帧，标注者自然会分析相邻帧以确定物体的正确类别，同时也会参考同一视频中已有的标注。为此，提出了一种新的损失函数，该函数综合考虑了这两个信息来源，以使预训练模型适应输入视频。...这样，就选择了既具有高不确定性又彼此不同的样本。标注粒度：帧、矩形块还是超像素？在主动样本选择过程中，尝试了多种样本粒度。...用户可以选择是标注整帧（逐像素）、矩形块还是超像素（根据视觉相似性分组的不规则像素簇）。研究发现，最佳粒度并非固定不变，而是取决于期望的标注质量水平。...通过精心设计的损失函数和样本选择策略，能够在保证高质量标注的同时，显著减少人工标注的工作量，为构建大规模的逐帧标注视频数据集提供了新的可能性。

1071 0

冗长响应缩减80%，DeepSeek GRPO获得颠覆性改进，微软GFPO问世

和 TRL 在内的多个开源强化学习库都默认为 GRPO 使用了 DAPO token 级损失归一化，这也是该微软团队在实验中使用的方法。...因此，GFPO 无需复杂的奖励工程，即可同时优化多个所需属性（例如长度和准确度）。...它能帮助模型减少简单示例（正确率已经很高）的冗长程度，同时通过保留更多推理链来保持更难提示词的准确度。该团队表示：「据我们所知，这是首个能根据问题难度动态调整有效分组规模的算法。」...发现 3：token 效率（奖励 / 长度）优化带来了最大幅度的缩减：在保持准确度的同时，额外长度减少了 70.9% (AIME 25)、84.6% (AIME 24)、79.7% (GPQA)、82.6%...可大幅降低推理解答和验证阶段的冗长程度，在 AIME 25 上，解答中减少了 94.4% 的多余长度，验证步骤中减少了 66.7% 的多余长度。

4331 0

ICLR 2019论文解读：量化神经网络

有一个参数 x 的指示函数 1_{x} 在与自身相乘时会保持不变，因此会得到第二个等式。最后一个等式源自一个高斯分布的统计情况。...表 1 记录了这三种 STE 在不同实验和网络上的训练损失和验证准确度。 ?...表 1：使用量化激活和浮点权重，三种不同的 STE 在 MNIST 和 CIFAR-10 数据集上的训练损失/验证准确度（%）。测试了 2 和 4 位的位宽。...图 3：在带有 2 位激活的 ResNet-20 上，截断式 ReLU STE 所得到的验证准确度和训练损失。激活准确度和训练损失在粗粒梯度方向上都随 epoch 数量而增长。...当梯度为 0 时，网络就会在反向传播过程中「学习」不到任何东西，因为所有的权重都会保持一样。

2.1K2 0

ICML 2023 | ICE-Pick: 用于DNN的高效迭代剪枝

若采取一次性剪枝（在一个步骤中修剪所有参数并进行一次微调）来缓解这个问题，又可能会带来较高的准确性损失。...用户提供准确度阈值，其值根据学习任务和用户对准确度损失的容忍度而变化。如果触发微调，ICE-Pick 希望通过更快地收敛到更高的精度来最小化训练时间。...在三个 DNN 模型中，较早的层倾向于看到较小的变化，并且层的顺序通常保持不变。这证明了冻结不太敏感的层(通过观察一个剪枝步骤的权重变化来确定)和只应用一次冻结步骤是合理的。...图4 不同阈值对 ICE-Pick 分别采用 0.5% 、1.5% 和 2.5% 的阈值，更高的阈值减少了所需的时间，同时仍然合理地保持了准确性。...这表明即使精度下降阈值较大，ICE-Pick 也能保持最终精度。学习率调度器验证为了验证 ICE-Pick 的学习率调度器，本文将其与固定学习率进行比较。

7583 0

Python:使用sklearn进行集成学习

如果你实在无法静下心来学习理论，你也可以在下篇博文中找到最直接的调参指导，虽然我不赞同这么做。 ---- 2 集成学习是什么？　　...boosting：训练过程为阶梯状，基模型按次序一一进行训练（实现上可以做到并行），基模型的训练集按照某种策略每次都进行一定的转化。对所有基模型预测的结果进行线性综合产生最终的预测结果： ? 　　...对所有的样本来说，根据初始模型预测出来的值都一样。 4.5 Gradient Tree Boosting 　　终于到了备受欢迎的Gradient Tree Boosting模型了！...集成学习模型的调参工作的核心就是找到合适的参数，能够使整体模型在训练集上的准确度和防止过拟合的能力达到协调，从而达到在样本总体上的最佳准确度。...有了本文的理论知识铺垫，在下篇中，我们将对Random Forest和Gradient Tree Boosting中的每个参数进行详细阐述，同时也有一些小试验证明我们的结论。

2.2K9 0

教程 | 使用Keras实现多输出分类：用单个模型同时执行两个独立分类任务

你可能已经开始觉得有些难以理解了，所以我们不再继续讨论多输出分类和多标签分类的差异。接下来走进项目里看看吧！我相信本文中所给出的代码能帮你理清这两个概念。...我通过实验发现 50 epoch 能得到低损失同时又不会过拟合训练集（或者尽我们所能不过拟合）的模型。 INIT_LR：我们的初始学习率设置为 0.001。学习率控制着我们沿梯度前进的「步伐」。...注意第 115 行我们以词典的形式传递标签。第 116 行和 117 行也是一样，我们为验证数据传递了一个二元组。以这种方式传递训练和验证标签是使用 Keras 执行多输出分类的要求。...但我们的 Keras 多输出网络见过其它红色衬衫。它能轻松以 100% 的置信度分类这两个标签。结果在这两个类别标签上都达到了 100% 的置信度，我们的图像确实包含一件「红色衬衫」。...结果同样很好——我们的网络没在「蓝色鞋子」图像上训练过，但还是能使用多输出和多损失分类的两个子网络正确分类它们。

4.3K3 0

独家 | kaggle季军新手笔记：利用fast.ai对油棕人工林图像进行快速分类（附代码）

现在，深度学习的初学者也可以赢得kaggle比赛了。我们从一个简单易学的关于深度学习的教程开始吧目前，无需为理解所有的东西而担心，文中会伴随着大量的练习。...注意：这是一种转移学习技术，我要说的是需要保持操作尽可能简单。...训练模型的输出；训练和验证损失的过程 fast.ai在运行训练和验证数据集时，内部自动选取和保存最优的那个模型。...训练模型的输出；训练和验证损失的进度保存第二阶段的模型训练结果。...你能得到：定期的翻译培训提高志愿者的翻译水平，提高对于数据科学前沿的认知，海外的朋友可以和国内技术应用发展保持联系，THU数据派产学研的背景为志愿者带来好的发展机遇。

1.2K5 0

首发 | 何恺明团队提出 Focal Loss，目标检测精度高达39.1AP，打破现有记录

试验证明，在存在大量简单背景样本(background example)的情况下，我们提出的 Focal Loss 函数可以训练出准确度很高的密集对象检测器。...随着一些列的进步，这个 two-stage 框架可以在难度极高的 COCO benchmark 上一直保持很高的准确度。...既然 two-stage 检测器的结果这么好，那么一个很自然的问题是：简单的 one-stage 检测器是否也能实现类似的准确度？...最近对 one-stage 检测器(如 YOLO 和 SSD)进行的试验都得出了优秀的结果，相比最优秀的 two-stage 方法，得出的检测器检测速度更快，而且能实现 10%- 40% 的准确度。...原来的 FL(Focal Loss)和替代变体 FL* 都减少了较好分类样本的相对损失(xt> 0)。 ?

1.2K6 0

通过正则化扩展回归库

为什么使用正则化，什么是正则化下图显示了一个绿色和蓝色的函数，与红色观察值相匹配。这两个函数都完美地符合观测值，我们该以何种方式选择这2个函数。 ?...正则化强度决定了系数大小与损失函数平方差部分的关系。注意，范数项主要优点是减少了模型中的方差。包含L2范数的回归称为岭回归。岭回归减少了预测中的方差，使其更稳定，更不容易过拟合。...如果要混合Lasso回归和岭回归，可以同时向损失函数添加L1和L2范数。这就是所谓的Elastic正则化。在理论部分结束后，让我们进入正则化的实际应用。正则化的示例使用用例人类很善于识别声音。...tom模型的性能最差，最小和最大精度都低。性能峰值介于5–6之间，这与所选值一致。在强度较小的情况下，我怀疑模型中剩余的多余变量会产生太多的噪声，然后正则化会去掉太多的相关信息。...结论：正则回归模型的性能基于交叉验证的准确度得分，我得出结论，我们在生成鼓声识别模型方面相当成功。尤其是底鼓很容易区别于其他两种类型的鼓。正则化回归也为模型增加了很多价值，降低了模型的整体方差。

6903 0

机器学习面试的12个基础问题，强烈推荐！

事实上，并非所有面试都需要用到所有这些问题，因为这取决于面试者的经验以及之前做过的项目。经过很多面试（尤其是与学生的面试）之后，我收集了 12 个深度学习领域的面试问题。我将在本文中将其分享给你。...这会使得模型过于简单，无法在训练和测试上同时实现优良的准确度。这个现象也被称为「欠拟合」。方差（variance）可以简单理解为是模型输出在一个数据点上的分布（或聚类）。...这两个概念的关系可通过下图说明： ? 上图中，圆圈中心是能够完美预测精准值的模型。事实上，你永远无法找到这样好的模型。随着我们离圆圈中心越来越远，模型的预测也越来越差。...我们可以改变模型，使得我们可以增大模型猜测的数量，使其尽可能多地落在圆圈中心。偏置和方差之间需要保持平衡。如果我们的模型过于简单，有非常少的参数，那么它就可能有较高的偏置和较低的方差。...这时候会计算损失函数的值；损失函数的这个值能体现模型的优劣程度。如果这个损失函数不够好，我们就需要找到一种能够降低这个损失函数的值的方法。神经网络的训练目标实际上就是最小化某个损失函数。

1.3K1 1

更长思维并不等于更强推理性能，强化学习可以很简洁

当模型获得负奖励时，强化学习损失函数就倾向于生成较长的响应，我认为这能解释纯强化学习训练为什么会导致出现顿悟时刻和更长思维链。」...此外，研究人员还表明，第二轮强化学习（仅使用一些有时可解的问题）可以缩短回答时间，同时保持甚至提高准确度。这对部署效率具有重大意义。...在第二阶段，使用非零 p_a（偶尔可解）的问题继续训练。此阶段能在保持甚至提高准确度的同时提升简洁性。...可以看到，新提出的两阶段强化学习训练方法会让响应长度显著下降，同时准确度会保持稳定。而右图在 MMLU_STEM 上的结果更是表明：仅使用 8 个样本，强化学习后训练也能带来准确度提升。...性能和稳健性的提升前面的实验结果已经证明：进一步的强化学习后训练可以在保持准确度的同时缩短响应长度。该团队进一步研究发现：进一步的强化学习后训练也能提升模型的稳健性和性能。

2021 0

神奇的Batch Normalization 仅训练BN层会发生什么

总之，所有这三种解释都集中在批标准化的标准化方面。下面，我们将看一下由γ和β参数实现的BN的平移和缩放点。复制论文如果这个主意是好的，它应该对实现方式和超参数的选择具有弹性。...更详细地，我测试了以下命题： ResNet模型中，除了批标准化层的参数所有其他权重已经被锁定的情况下，模型仍然可以在CIFAR-10数据集上训练处良好的结果。...我将使用Keras的CIFAR-10和ResNet模块以及CIFAR-10数据集，并使用交叉熵损失和Softmax激活。...仅训练批标准化层的ResNet模型的验证集准确性在数值上，这三个模型达到了50％，60％和62％的训练准确度以及45％，52％和50％的验证准确度。...我还可以看到这个想法被用于修剪大型网络。这项研究使我最困惑的是，我们都多少忽略了这两个参数。

1.1K1 0

这是你需要知道的12个基础面试问题

5073 0

学界 | 谷歌云提出渐进式神经架构搜索：高效搜索高质量CNN结构

我们评估这些单元（通过训练它们并在一个验证集上计算它们的损失），然后使用观察得到的奖励来训练一个基于 RNN 的启发式函数（也被称为代理函数），其可以预测任何模型的奖励。...总结来说，我们提出了一种用于 CNN 结构学习的方法，该方法的效率是之前最好方法的大约 2 倍，同时也实现了同等质量的结果。我们相信我们的方法能让我们将架构搜索扩展到更复杂的搜索空间和更大的数据集。...我们从所有单元有 1 个模块开始，即 Q_1=B_1；我们训练和评估了所有这些单元，并更新了该预测器。...蓝色是 PNAS 访问的前 1280 个模型在 CIFAR-10 验证集上的验证准确度，红色是 NAS-RL 访问的前 3000 个模型在 CIFAR-10 验证集上的验证准确度。...我们训练和测试了每个模型 15 次，每次 600 epoch；所以质量的范围（纵轴）是由参数初始化中的随机性、SGD 优化过程等造成的。

1K12 0

用神经架构搜索给LLM瘦身，模型变小，准确度有时反而更高

大型语言模型（LLM）的一个主要特点是「大」，也因此其训练和部署成本都相当高，如何在保证 LLM 准确度的同时让其变小就成了非常重要且有价值的研究课题。...此外，虽然 InstaTune 会在同一次迭代中为超级网络和随机采样的子网络同时计算损失，但该团队为了降低内存使用量，选择的做法是交替地为超级网络和随机采样的子网络计算损失。...图 1 展示了在这两个目标空间中的帕累托边界。执行完搜索后，该团队找到了一些能提供更高准确度和 / 或更小规模的子网络架构。...具体来说，首先量化搜索找到的帕累托最优子网络，然后在模型大小 / 准确度目标空间中再次评估它们。解码器层中的所有线性运算都被量化到了 INT8，而剩余层（比如嵌入层）依然是 FP16。...-7B 的准确度相当，从而验证了图 7 的结果。

3551 0

点击加载更多

AI 行业实践精选：利用深度学习识别交通信号灯

教程 | CMU研究者探索新卷积方法：在实验中可媲美基准CNN（附实验代码）

干货 | 详解scikit-learn中随机森林(RF)和梯度提升决策树(GBDT)的参数调优

sklearn集成学习：如何调参？

SysML 2019论文解读：推理优化

视频语义分割的高效自动标注技术

冗长响应缩减80%，DeepSeek GRPO获得颠覆性改进，微软GFPO问世

ICLR 2019论文解读：量化神经网络

ICML 2023 | ICE-Pick: 用于DNN的高效迭代剪枝

Python:使用sklearn进行集成学习

教程 | 使用Keras实现多输出分类：用单个模型同时执行两个独立分类任务

独家 | kaggle季军新手笔记：利用fast.ai对油棕人工林图像进行快速分类（附代码）

首发 | 何恺明团队提出 Focal Loss，目标检测精度高达39.1AP，打破现有记录

通过正则化扩展回归库

机器学习面试的12个基础问题，强烈推荐！

更长思维并不等于更强推理性能，强化学习可以很简洁

神奇的Batch Normalization 仅训练BN层会发生什么

这是你需要知道的12个基础面试问题

学界 | 谷歌云提出渐进式神经架构搜索：高效搜索高质量CNN结构

用神经架构搜索给LLM瘦身，模型变小，准确度有时反而更高

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐