首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

学习笔记:深度学习之“学习

在上一篇文章中,我们谈到机器学习学习”的是“规则”。进一步而言,机器学习需要一套评判机制来测量相应机器学习算法的性能。这套评判机制需要将当前输出与期望输出的“差异”做为反馈信号来调整算法。...这个调整的过程就是所谓的“学习”。这种“学习”其实并不陌生。...回到机器学习,它也需要输入数据、期望输出和评判机制。学习的“规则”本质上就是数据的表征方式。机器学习算法就是找到一种合适的表征方式使得数据更适合于当前任务,例如分类任务。数据的表征方式也就是模型。...深度学习做为机器学习的分支,其“学习”目的是一致的。类比于自适应滤波器,这里我们引入损失函数(Loss Function)的概念。损失函数的作用就是评判输出值与期望值的差异。...综上所述: 深度学习学习”什么:学习数据的表征方式也就是“模型” 深度学习怎么“学习”:根据训练数据、期望结果、损失函数达到学习的目的

54020
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    机器学习 学习笔记(17) 集成学习

    个体学习器通常由一个现有的学习算法从训练数据产生,例如C4.5、BP神经网络算法等,此时集成中只包含同类型的个体学习器,这样的集成是同质的,同质集成中的个体学习器亦称为基学习器,相应的学习算法被称为基学习算法...异质集成中的个体学习器由不同的学习算法生成,这时就不再有基学习算法,相应的个体学习器一般不称为基学习器,常称为组件学习器,或者直接称为个体学习器。...集成学习通过将多个学习器进行结合,常可获得比单一学习器显著优越的泛化性能,这对弱学习器尤为明显,因此集成学习的很多理论研究都是针对弱学习器进行的,而基学习器很多时候也被称为弱学习器。...要获得好的集成,个体学习器应该好而不同,即个体学习器要有一定的准确性,即学习器不能太坏,并且要有多样性,即学习器间具有差异。...学习法。当训练数据很多时,一种更为强大的结合策略是使用学习法,即通过另一个学习器来进行结合。Stacking是学习法的典型代表。个体学习器被称为初级学习器,用于集合的学习器称为刺激学习器或元学习器。

    89720

    机器学习、深度学习、演化学习

    根据学习模式、学习方法以及算法的不同,机器学习存在不同的分类方法。 (1)根据学习模式将机器学习分类为监督学习、无监督学习和强化学习等。...监督学习 监督学习是利用已标记的有限训练数据集,通过某种学习策略/方法建立一个模型,实现对新数据/实例的标记(分类)/映射,最典型的监督学习算法包括回归和分类。...强化学习 强化学习是智能系统从环境到行为映射的学习,以使强化信号函数值最大。由于外部环境提供的信息很少,强化学习系统必须靠自身的经历进行学习。...(2)根据学习方法可以将机器学习分为传统机器学习和深度学习。 传统机器学习 传统机器学习从一些观测(训练)样本出发,试图发现不能通过原理分析获得的规律,实现对未来数据行为或趋势的准确预测。...(3)此外,机器学习的常见算法还包括迁移学习、主动学习和演化学习等。 迁移学习 迁移学习是指当在某些领域无法取得足够多的数据进行模型训练时,利用另一领域数据获得的关系进行的学习

    65740

    学习——让机器学习学会学习

    学习作为当前深度学习前沿领域的推手,提供了另一种学习模式,它通过多个学习事件或相关任务来获得经验并提高未来的学习性能,这种学会学习学习策略可以缓解数据量小和计算效率低下的问题。...二、元学习 近年来,元学习(Meta Learning,ML)是深度学习领域最热门的研究方向之一。...2、元强化学习 强化学习为元学习提供了一个丰富的应用领域,在任务分布上的元学习可以显著提高样本效率,比如在强化学习中的探索、优化、在线元强化学习、策略等方面都发挥了重要作用。...6、无监督元学习 根据无监督学习是在元训练还是元测试中进行,可以使用不同的方式使无监督学习与元学习相互作用。...7、持续学习、在线学习和自适应学习学习可以将持续学习的需求包含在元目标中,可以通过学习各种元表示来提高持续学习的性能,除此之外,也考虑了有效适应当前任务的能力。

    2.3K10

    《机器学习学习笔记(七)——集成学习

    本专栏将以学习笔记形式对《机器学习》的重点基础知识进行总结整理,欢迎大家一起学习交流!...集成学习(ensemble learning)通过构建并结合多个学习器来提升性能。...上面的分析有一个关键假设:基学习器的误差相互独立 现实任务中,个体学习器是为解决同一个问题训练出来的,显然不可能互相独立 事实上,个体学习器的“准确性”和“多样性”本身就存在冲突 如何产生“好而不同”的个体学习器是集成学习研究的核心...某些学习任务的真实假设可能不在当前学习算法所考虑的假设空间中,此时若使用但学习器则肯定无效,而通过结合多个学习器,由于响应的假设空间有所扩大,有可能学得更好的近似。 平均法 ? 简单平均法 ?...(不稳定基学习器) 决策树,神经网络等 对数据样本的扰动不敏感的基学习器(稳定基学习器) 线性学习器,支持向量机,朴素贝叶斯,k近邻等 数据样本扰动对“不稳定基学习器”很有效 随机子空间算法(random

    1K10

    【机器学习】迁移学习

    迁移学习:给定一个有标记的源域和一个无标记的目标域。这两个领域的数据分布不同。迁移学习的目的就是要借助源域的知识,来学习目标域的知识(标签)。...或是指基于源域数据和目标域数据、源任务和目标任务之间的相似性,利用在源领域中学习到的知识,去解决目标领域任务的一种机器学习方法。...在样本不足的情况下,使用迁移学习,可以将这些通用特征学习从其他已经训练好的网络中迁移过来,从而节省训练时间,并且得到较好的识别结果。 一.基本概念 1.领域:进行学习的主题。...二.分类 迁移学习学习方法分类,可以分为四个大类:基于样本的迁移学习方法、基于特征的迁移学习方法、基于模型的迁移学习方法、基于关系的迁移学习方法。...基于关系的迁移学习:基于关系的迁移学习是通过将两个域之间的相关性知识建立一个映射来达到迁移学习的效果。

    31910

    机器学习 | 集成学习

    目的:让机器学习效果更好,多个弱学习器组合后可以成为强学习器,聚集多个学习器的预测来提高分类准确率 实现方式:即从原数据抽取n个数据集训练n个分类器 ?...集成学习的种类 1、Bagging装袋:又称自主聚集(bootstrap aggregating),是一种根据均匀概率分布从数据集中重复抽样(有放回)的技术。每个新数据集合原始数据集大小相等。...2、Boosting提升:是一个迭代的过程,用来自适应地改变训练样本的分布,使得弱学习器聚焦到那些很难分类的样本上。它的做法是给每一个训练样本赋予一个权重,在每一轮训练结束时自动地调整权重。...3、Stacking:一种通用的通过训练学习器来结合个体学习器的方法,个体学习器被成为一级学习器,结合器被称为二级学习器或元学习器。 ?

    42920

    【深度学习】深度学习

    深度学习的起源 深度学习(Deep Learning)是机器学习中一个非常接近AI的领域,其动机在于建立、模拟人脑进行分析学习的神经网络。深度学习属于无监督学习。...深度学习的概念源于人工神经网络的研究。...深度学习是相对于简单学习而言的,目前多数分类、回归等学习算法都属于简单学习,其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限,针对复杂分类问题其泛化能力受到一定制约。...深度学习可通过学习一种深层非线性网络结构,实现复杂函数逼近,表征输入数据分布式表示,并展现了强大的从少数样本集中学习数据集本质特征的能力。含多隐层的多层感知器就是一种深度学习结构。...深度学习正是希望通过模拟人脑多层次的分析方式来提高学习的准确性。

    2K72

    学习攻略 | 机器学习 学习路线图

    恩,这些功能的核心算法就是机器学习领域的内容。 套用一下大神们对机器学习的定义,机器学习研究的是计算机怎样模拟人类的学习行为,以获取新的知识或技能,并重新组织已有的知识结构使之不断改善自身。...机器学习关注问题 并非所有的问题都适合用机器学习解决(很多逻辑清晰的问题用规则能很高效和准确地处理),也没有一个机器学习算法可以通用于所有问题。...看似学习难度大,曲线陡的机器学习,对大多数入门者也有一个比较通用的学习路径,也有一些优秀的入门资料可以降低大家的学习门槛,同时激发我们的学习乐趣。...具体内容可以参见阿里云机器学习文档。 3.6 自主学习能力 多几句嘴,这部分内容和机器学习本身没有关系,但是我们觉得这方面的能力对于任何一种新知识和技能的学习来说都是至关重要的。...【路线图】R语言学习路线图 【路线图】Python挖掘学习路线图 【资料】近200篇机器学习&深度学习资料 【学习群】大数据-机器学习 注:因微信文本无法加入超链,请阅读原文查看。

    2.5K80

    《机器学习学习笔记(一)——机器学习概述

    机器学习(Machine Learning)是一门多学科交叉专业,涵盖概率论知识,统计学知识以及复杂算法知识,使用计算机作为工具并致力于真实实时的模拟人类学习方式, 并将现有内容进行知识结构划分来有效提高学习效率...本专栏将以学习笔记形式对《机器学习》的重点基础知识进行总结整理,欢迎大家一起学习交流! 专栏链接:《机器学习学习笔记 机器学习是从人工智能中产生的一个重要学科分支,是实现智能化的关键 ?...机器学习过程 ? 机器学习、数据库、数据挖掘之间的关系 ?...机器学习应用 互联网搜索、自动汽车驾驶、画作鉴别、古文献修复…… 机器学习发展 机器学习源自“人工智能” 达特茅斯会议标志着人工智能这一学科的诞生 第一阶段:推理期(1956-1960s...没有机器学习技术分析大数据,“利用”无从谈起。 机器学习基本术语 ?

    75540

    机器学习 学习笔记(14)k近邻学习

    k近邻是一种常用的监督学习方法,其工作机制非常简单:给定测试样本,基于某种距离度量找出训练集中与其最靠近的k个训练样本,然后基于这k个邻居的信息来进行预测。...K近邻没有显式的训练过程,是懒惰学习的著名代表,此类学习技术在训练阶段仅仅是把样本保存起来,训练时间开销为0,待收到测试样本之后再进行处理,相应的,那些在训练阶段就对样本进行学习处理的方法称为急切学习。...如果选择较小的k值,相当于用较小的领域中的训练实例进行预测,“学习”的近似误差会减小,只有与输入实例较近的训练实例才会对结果起作用,但缺点是学习的估计误差会增大,预测结果会对近邻的实例点非常敏感。...如果选择较大的k值,就相当于用较大领域中的训练实例进行预测,其优点是可以减小学习中的估计误差,但是学习的近似误差会增大,这是与输入实例较远(不相似)的训练实例也会对预测结果起作用,使得预测发生错误,k值得增大就意味着整体的模型变得简单...》 《统计学习方法》 《机器学习实战》

    34530

    【机器学习】机器学习系列:(一)机器学习基础

    主要介绍机器学习算法的应用,监督学习和无监督学习(supervised-unsupervised learning)的应用场景,训练和测试数据的用法,学习效果评估方式。...然后,我们介绍机器学习系统可以处理的常见任务。最后,我们介绍机器学习系统效果评估方式。 从经验中学习 机器学习系统通常被看作是有无人类监督学习两种方式。...那么,一种监督学习方式就是基于一个人的身高和体重数据来预测这个人是男是女。后面我们会介绍监督学习与非监督学习的算法和案例。 监督学习与非监督学习可以看作机器学习的两端。...还有一些中间类型,称为半监督学习,既包含监督数据也有非监督数据,这类问题可以看作是介于监督学习与非监督学习之间的学习。...本书讨论的半监督学习将集中于监督与非监督学习,因为这些类型包括机器学习的绝大多数问题。下一章,我们会介绍监督学习与非监督学习的更多细节。

    1.6K122
    领券