在单一决策树种，学习率是不能作为一个可调整的参数的。 使用决策树时，我们只会建一颗树。 问题 16 关于神经网络，一下那种说法是正确的？ 1. 在测试数据中增加层数可能会增加分类错误 2....A. 2 和 4 B. 1 和 2 C. 3 和 4 D. 1 和 3 答案：B l 我们可以在不同的簇中使用不同的机器学习模型，这样一来，预测的准确性可能会提高。...一个机器学习模型如果能得到很高的 准确率，则说明这是个好的分类器。 2. 如果增加一个模型的复杂度，测试错误总会增加。 3. 如果增加一个模型的复杂度，训练错误总会增加。...问题 37 下图我们画出了在同一个数据集上解决回归问题的三种不同模型，从下图中我们可以总结出什么？ ? 1. 和其他的相比，第一张图的训练错误最大。 2....那么从这些信息中我们可以推断出什么？ 1.Var1 和 Var2 具有很高的关联性。 2.Var1 和 Var2 有很高的关联度，所以它们具有多重共线性。
研究人员修改图片，欺骗神经网络，看看会发生什么事。研究人员发现，即使只是小小的修改，系统也会给出完全错误的答案，当修改幅度很大时，系统甚至无法给图片贴标签。...不过如果图像扭曲的方式稍有不同，神经网络就无能为力了，即使在人眼看来图像的扭曲方式并无不同，算法也会犯错。 对于这样的结果如何解释？...研究人员深入思考：到底是什么发生了变化，即使只是加入很少的噪点，也会发生如此大的变化？答案是纹理。...算法不会考虑小块之间的空间关系。结果证明，在识别对象时系统的精准度很高。” 研究人员Wieland Brendel说：“这一发现挑战了我们之前的假定，我们之前认为深度学习的行为方式与旧模型完全不同。...在人类大脑中，可能还有一些重要机制没有在算法中体现出来。Wichmann认为，在某些情况下，关注数据集可能更重要。
研究人员修改图片，欺骗神经网络，看看会发生什么事。研究人员发现，即使只是小小的修改，系统也会给出完全错误的答案，当修改幅度很大时，系统甚至无法给图片贴标签。...不过如果图像扭曲的方式稍有不同，神经网络就无能为力了，即使在人眼看来图像的扭曲方式并无不同，算法也会犯错。 ? 对于这样的结果如何解释？...研究人员深入思考：到底是什么发生了变化，即使只是加入很少的噪点，也会发生如此大的变化？答案是纹理。...算法不会考虑小块之间的空间关系。结果证明，在识别对象时系统的精准度很高。 ” 研究人员Wieland Brendel说：“这一发现挑战了我们之前的假定，我们之前认为深度学习的行为方式与旧模型完全不同。...在人类大脑中，可能还有一些重要机制没有在算法中体现出来。Wichmann认为，在某些情况下，关注数据集可能更重要。
在每个时间步，进化算法会随机选择一对神经网络，具备更高准确率的网络被选为亲代网络，并通过复制和变异获得子代网络，然后该子代网络被加入原来的群体中，而另一个准确率较低的网络则被移除。...例如，如果我们使用单个变异，在某一步将一个种子网络变换成 Inception-ResNet 分类器，那么我们会错误地认为该算法找到了优秀的答案。...在图中的实验中，简单的变异和选择过程导致网络随着时间不断改进，并达到了很高的测试准确率，且测试集在训练过程中不曾出现。在这篇论文中，网络可以继承其亲代网络的权重。...这里面有些需要注意的东西，例如，上图中表明，尽管使用更少的浮点运算，进化算法获得的最终模型也能达到很高的准确率。...也就是说，得到更加准确的模型只是偶然的，训练过程中存在的噪声意味着即使完全相同的架构准确率也可能不同。
假设我们在支持向量机（SVM）算法中对 Gamma（RBF 核系数 γ）的不同值进行可视化。由于某种原因，我们忘记了标记伽马值的可视化。令 g1、g2、g3 分别对应着下面的图 1、图 2 和图 3。...召回率（Recall）增大 答案：AC 解析：本题考察的是二元分类阈值提高对准确率和召回率的影响。 首先来看一下什么是准确率和召回率，下面分别用 P 和 R 代表。...因此准确率可能会增加，极端的，苛刻条件，只预测一个是好瓜，那该瓜是好瓜的概率会很大，即准确率很高。但是 15 个好瓜你只挑出来 1 个，召回率就降低了。...减少网络层数，一定会减少训练集分类错误率 答案：AC 解析：本题考查的是神经网络层数对训练误差和测试误差的影响。 一般来说，神经网络层数越多，模型越复杂，对数据的分类效果越好。...对应的笔记可以在本公众号查阅，放上第 1 讲链接： 深入浅出机器学习技法（一）：线性支持向量机 Q9. 下列哪些算法可以用来够造神经网络（多选）？ A. kNN B. 线性回归 C.
这些判断可能正确，也可能不正确，而且一点也不客观，但它们具有一致性。在同一情形下让不同的人评价同一张脸，人们往往会给出一致的评价。 这就引出了一种有趣的可能性。...这是通过在让机器做评价时盖住照片中脸的某些部位做到的。如果盖住后的评价结果与没有盖住的结果非常不同，就可认为这个部分非常重要。这样，研究者可以知道机器在评价时依据的是脸的哪些部分。...答案是肯定的。 日本九州大学的研究者通过训练深度神经网络，让机器能根据一本书的封面判断其类型。他们的方法也相当直截了当。...其中某些类型的书籍更容易识别，例如旅行书、美食书和计算机技术类书籍。尤其当美食书使用食物做封面时识别正确率很高，但当美食书使用厨师的照片做封面，模型就常常辨认错误。...这项研究对书籍封面设计者来说也相当有趣，让他们能够参考算法的判断改善封面设计。待模型准确率更高，训练机器来设计封面也是不错的想法。
本期视频提到的这类数据集包含了很多剪辑的短视频，这些短视频片段被传递给一个神经网络，由神经网络来对视频中发生的活动进行分类。在这个数据集中，神经网络在很多场景都会给出一个错误的逻辑答案。...所有这些视频都经过镜头和人物检测步骤，提取了包含某种人类活动的相关子片段。然后用两个不同的分类器查看，查看结果是根据两者之间是否存在共性，来决定这段视频剪辑是否被丢弃。...这一步骤使得负面样本变得更难，因为上下文可能是正确的，但预期的活动可能并不是那样。一个典型的游泳池例子，就是穿着泳装的人，只是在摆弄手指，而不是在游泳。 ?...图中给出了一些数字，这些数字是非常不可思议的——有些案例的成功率提高了 30％以上，这本身就说明了问题。但是在其他情况下，差异约为 10-15％，这种差异在成功率很高时也很明显。...因为分类器越接近100％，下面剩下的案例就越难提高准确性。在这些情况下，即使是 3％的改善也是显著的。 论文原文： https://arxiv.org/pdf/1712.09374.pdf
接下来，我们看看 C 取不同的值时，模型的复杂程度。 ? 从上图可以看出，C=1 时，模型比较简单，分类错误的点也比较多，发生欠拟合。当 C 越来越大的时候，模型越来越复杂，分类错误的点也在减少。...召回率（Recall）增大 答案：AC 解析：本题考察的是二元分类阈值提高对准确率和召回率的影响。 首先来看一下什么是准确率和召回率，下面分别用 P 和 R 代表。...减少网络层数，一定会减少训练集分类错误率 答案：AC 解析：本题考查的是神经网络层数对训练误差和测试误差的影响。 一般来说，神经网络层数越多，模型越复杂，对数据的分类效果越好。...A.准确率是检索出相关文档数与检索出的文档总数的比率，衡量的是检索系统的查准率 B.召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的查全率 C.正确率、召回率和 F 值取值都在...我们能从中推断出什么呢？（多选） A. Var1 和 Var2 具有很高的相关性 B. Var1 和 Var2 存在多重共线性，模型可以去掉其中一个特征 C.
大量实验表明，NS-CL 模型在学习视觉概念、词表征和句子的语义分析方面具有很高的准确率和效率。...人类可以凭借符号检测出猫的特征（如尖耳、三角鼻等），但这一过程非常复杂，涉及到不同的角度、光照等，甚至在遮挡情况下也能脑补出全貌。...简而言之，符号 AI 不适合处理图像、音频等非结构化数据，即使在充满非结构化文本数据的自然语言处理任务中，它的应用也十分有限。...连接主义也不是万能的 与符号主义 AI 相比，神经网络在处理非结构化数据方面要擅长得多，但它也有自己的局限。 神经网络要依赖大量的数据，而且往往是经过标注的数据。...表 4：NS-CL 模型在没有程序注释的情况下，取得了超过所有基线模型的性能，甚至与使用完整程序注释的 TbD 等模型相比，也达到了 类似的性能。
在机器学习中，过拟合（overfitting）会使模型的预测性能变差，通常发生在模型过于复杂的情况下，如参数过多等。本文对过拟合及其解决方法进行了归纳阐述。 ?...在机器学习中，如果模型过于专注于特定的训练数据而错过了要点，那么该模型就被认为是过拟合。该模型提供的答案和正确答案相距甚远，即准确率降低。这类模型将无关数据中的噪声视为信号，对准确率造成负面影响。...即使模型经过很好地训练使损失很小，也无济于事，它在新数据上的性能仍然很差。欠拟合是指模型未捕获数据的逻辑。因此，欠拟合模型具备较低的准确率和较高的损失。 ? 如何确定模型是否过拟合？...模型构建完成后，使用测试数据对模型进行测试并得到准确率。如果准确率和验证准确率存在较大的差异，则说明该模型是过拟合的。 如果验证集和测试集的损失都很高，那么就说明该模型是欠拟合的。...通过查看数据、收集数据的方式、采样方式，错误的假设，错误表征能够发现过拟合的预兆。为避免这种情况，请在建模之前先检查数据。但有时在预处理过程中无法检测到过拟合，而是在构建模型后才能检测出来。
从上图可以看出，C=1 时，模型比较简单，分类错误的点也比较多，发生欠拟合。当 C 越来越大的时候，模型越来越复杂，分类错误的点也在减少。...召回率（Recall）增大 答案：AC 解析：本题考察的是二元分类阈值提高对准确率和召回率的影响。 首先来看一下什么是准确率和召回率，下面分别用 P 和 R 代表。...所以可能会造成预测是好瓜的数目减少，即 TP 和 FP 均减小。因此准确率可能会增加，极端的，苛刻条件，只预测一个是好瓜，那该瓜是好瓜的概率会很大，即准确率很高。...减少网络层数，一定会减少训练集分类错误率 答案：AC 解析：本题考查的是神经网络层数对训练误差和测试误差的影响。 一般来说，神经网络层数越多，模型越复杂，对数据的分类效果越好。...我们能从中推断出什么呢？（多选） A. Var1 和 Var2 具有很高的相关性 B. Var1 和 Var2 存在多重共线性，模型可以去掉其中一个特征 C.
然而在实际中，在方法几乎定型的时候，我们往往需要针对自己的任务和自己设计的神经网络进行debug才能达到不错的效果，这也就是一个不断调试不断改进的一个过程。 (炼金何尝不是呢？...上图则展示了更多的错误：左上一和二：没有对数据集进行洗牌，也就是每次训练都是采用同一个顺序对数据集进行读取；右上一：训练的过程中突然发现曲线消失了，为什么？...正则化 除了损失函数曲线，准确率曲线也是我们观察的重点，准确率曲线不仅可以观察到我们的神经网络是否往正确方向前进，更主要的是：观察损失和准确率的关系。...当然，还有随机失活和权重衰减两个比较重要的超参数，这两个参数通过观察损失曲线观察是不明显滴，只有通过特定的评价标准曲线，设置好标准再进行比较，才可以判断出是否需要添加dropout或者weight decay...但是标准化技术通常只用于分类(以及衍生的一些应用)，但并不适合与那种对输入图像大小比较敏感以及风格迁移生成类的任务，不要问为什么，结果会给你答案.. batch-normalization的好处：https
正如巴菲特所言：「近似的正确好过精确的错误。」 在机器学习中，如果模型过于专注于特定的训练数据而错过了要点，那么该模型就被认为是过拟合。该模型提供的答案和正确答案相距甚远，即准确率降低。...这类模型将无关数据中的噪声视为信号，对准确率造成负面影响。即使模型经过很好地训练使损失很小，也无济于事，它在新数据上的性能仍然很差。欠拟合是指模型未捕获数据的逻辑。...模型构建完成后，使用测试数据对模型进行测试并得到准确率。如果准确率和验证准确率存在较大的差异，则说明该模型是过拟合的。 如果验证集和测试集的损失都很高，那么就说明该模型是欠拟合的。...该方法能够降低网络的密度，如下图所示： 总结 过拟合是一个需要解决的问题，因为它会让我们无法有效地使用现有数据。有时我们也可以在构建模型之前，预估到会出现过拟合的情况。...通过查看数据、收集数据的方式、采样方式，错误的假设，错误表征能够发现过拟合的预兆。为避免这种情况，请在建模之前先检查数据。但有时在预处理过程中无法检测到过拟合，而是在构建模型后才能检测出来。
随着攻击目标模型的数量越来越多，生成的图像对人类来说越来越像狗。下：攻击针对 10 个模型时，不断变化的攻击程度。即使在 eps = 8 时，该图像对人类来说也更像狗。...换言之，人类可以在分类任务上达到接近完美的准确率，性能的微小改变可能不会对应到准确率的可观变化。...图像呈现时间足够简短的情况下，人类甚至无法对干净图像实现完美的准确率，性能的微小改变会导致准确率方面更加可观的变化。...该扰动并非噪声，它依赖于根据神经网络参数仔细选择的结构，但是即使扩大到可感知的程度，人类观察者也不会识别出任何有意义的结构。...我们发现，在计算机视觉模型之间进行有效迁移的对抗样本对时限性环境下的人类观察者的分类结果产生影响。
在 CNN 出现之前，图像对于人工智能来说是一个难题，有2个原因： 1、图像需要处理的数据量太大，导致成本很高，效率很低 2、图像在数字化的过程中很难保留原有的特征，导致图像处理的准确率不高 下面就详细说明一下这...卷积神经网络 – CNN 解决的第一个问题就是「将复杂问题简化」，把大量参数降维成少量参数，再做处理。 更重要的是：我们在大部分场景下，降维并不会影响结果。...在具体应用中，往往有多个卷积核，可以认为，每个卷积核代表了一种图像模式，如果某个图像块与此卷积核卷积出的值大，则认为此图像块十分接近于此卷积核。...之所以这么做的原因，是因为即使做完了卷积，图像仍然很大（因为卷积核比较小），所以为了降低数据维度，就进行下采样。...对于一些特定领域的图片，分类的准确率可以达到 95%+，已经算是一个可用性很高的应用了。 典型场景：图像搜索… ? 目标定位检测 可以在图像中定位目标，并确定目标的位置及大小。
比如这句话“市政厅议员不批准示威者的许可证，因为他们害怕暴力”，“他们”指代谁在逻辑上是不清楚的，但是人类能够在语境下理解。 比起随机的选择，参与挑战的程序在选择句子的正确含义上，准确率要高一点。...但是，表现最好的两位选手的正确率也仅达到48%。如果只是随机选择答案，正确率是45%。该挑战赛规定，要想获得25，000美元的奖金，正确率至少要达到90%。...要知道，人类的准确率也达不到100%，而是在80%左右。 在CNN新闻语料库中，DeepMind的准确率为63.8%，Facebook为66.8%，IBM Waston为69.5%。...刘泉的团队称，他们的系统在理解大赛出的问题时有一个缺陷，等他们修正这个缺陷后，正确率可达60%。然而Morgenstern提醒说，即使他们真的能做到，机器的正确率还是远远低于人类。...Nuance是一家做语音识别和语音交互软件的公司，是Winograd Schema挑战赛的赞助方。Ortiz说，即使是与计算机简单的对话也会需要理解常识。
甲一声令下，召来了8个。那么召回率就是80%。我们放入机器学习的场景当中去也是一样的，在二分类场景当中，一般情况下模型考虑的主要都是正例。...： recall和precision的取舍 我们继续研究刚才的例子，从甲乙两人的结果当中我们会发现他们两人的准确率都很高，都是86%。...比如在医疗行业当中，一些疾病的检测看准确率是没有用的，因为发病率本身并不高，大量的都是负样本。如果啥也检测不出来，一样可以得出很高的准确率。...明白了这点之后，也会减少很多忽悠，比如很多假药或者假仪器骗子用准确率来说事欺骗消费者。 在负例不重要的场景当中，我们一般不会参考准确率，因为会受到负例的影响。...而乙的准确率更高，找出的10个人里面有8个是特务，命中率很高。那么这两个人究竟谁更强呢？ 代入问题的场景，你会发现这个问题没有标准答案，答案完全取决于他们两人的上司。
并且，随着移动设备和可穿戴设备的普及，如何让这些模型在计算能力并不强的移动端也能很好地应用，也成为亟待解决的问题。因此越来越多的研究者开始研究神经网络模型压缩。...而如果和原来的权重保持一样的正负号，三种方法和 LT 网络的初始化效果相差无几（图中实线）。只要保持正负号一致，即使将剩下的权重都设为常量也不会影响网络的表现。...超级掩模 在开头提到了超级掩模的概念，它是一种二值掩模，当作用到随机初始化的网络上时，即使不重新训练，也可以得到更高的准确率。下面介绍如何找到最佳的超级掩模。...通过使用这一掩模准则，可以在 MNIST 上取得 80% 的测试准确率，而上一篇文章 large_final 方法在最好的剪枝率下只有 30% 的准确率（注意这是在没有进行重新训练的情况下）。 ?...并且有意思的是提出了一种新的「超级掩模」，通过它可以在不重新训练子网络的情况下得到很高的准确率。这为我们提供了一种新的神经网络压缩方法，只需要保存掩模和随机数种子就可以重构网络的权重。
文中，我们也会为你介绍那些经常在论文中出现的名词术语，还会给出不同的机器学习方法所对应的学习资源。 总的来说，本文的分类方法，既适用于传统的机器学习，又适用于新出现的深度学习。...接下来我们会用第二组数据验证训练得到的模型的准确率。 优化模型的许多参数（超参）需要优化，因此导致第二步和第三步通常会交叉进行。...因此，必须确保使用网络得到的收益比标记数据和训练模型的消耗要更高。 举例来说，在医学领域，根据X光照片标记病人是否患有癌症成本是很高的，但能以极高的准确率来诊断病人是否患癌的系统则又非常有价值。...并且这使得他们的客户可以标记更多的类，从20个类迅速扩展到了110个类。 一个直观的解释为什么无标记也能提高准确率：即使不知道正确的答案，但是可以知道输入数据长什么样，有什么可能的取值。...可以把奖惩函数想象成正确答案的一个延迟的、稀疏的形式。 在监督学习中，能直接得到每个输入的对应的输出。
云服务器
ICP备案
实时音视频
对象存储
云直播
