Loading [MathJax]/jax/input/TeX/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >0x01机器学习简史

0x01机器学习简史

作者头像
上善若水.夏
发布于 2018-09-28 03:31:10
发布于 2018-09-28 03:31:10
1K0
举报
文章被收录于专栏:上善若水上善若水

about 全面介绍机器学习的发展史,从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning。

机器学习是人工智能最重要发展分支之一,在科研领域和工业界都是非常热门的课题。

机器学习是一门跨学科领域,涉及到统计学、计算机科学、最优化理论、信息理论、神经科学、理论物理以及其他领域。同时,机器学习也是一门非常年轻的学科。机器学习的大规模应用仅仅开始于过去二十年。当今,数据科学应用已成为一种职业。就像西部开发一样,拥有则无尽的机会,同时也有伴随着很多迷惑与问题。

image

  1. 普遍推广机器学习的第一人Hebb,在1949年提出了基于神经心理学习方法,被称为Hebbian学习理论。通过简单的解释,研究递归神经网络(RNN)节点之间的相关性。它记录网络上的共性,像记忆一样工作。
  2. 在1952年,IBM的亚瑟·塞缪尔(Arthur Samuel)开发了一个西洋棋的程序。 该程序能够通过棋子的位置学习一个隐式模型,为下一步棋提供比较好的走法。 塞缪尔与这个程序对局了很多次,并观察到这个程序在经过一段时间的学习后可以发挥得更好。 塞缪尔用这个程序驳倒了机器无法超越书面代码,并像人类一样学习模式的论断。 他创造并定义了“机器学习”: 机器学习是一个能使计算机不用显示编程就能获得能力的研究领域。
  3. 1957年,Rosenblatt再次提出以神经科学为背景的第二个机器学习模型——感知器,它与今天的机器学习模型更像。当时,这是非常激动人心的发现,实际上它比Hebbian的想法更容易实现。 Rosenblatt用下面几句话介绍了感知器模型: 感知器模型的设计是针对于一般智能系统的一些基本特性,而不会纠缠于一些特定生物体通常情况下未知的特性。[2]
  4. 3 年后,Widrow [发明的Delta学习规则载入机器学习史册,该规则很快被用作感知器训练的实践程序。它也被称为最小二乘问题。这两个想法的结合创造了一个很好的线性分类器。 然而,感知器模型的热度在1969年被Minsky [3]所取代。他提出了著名的XOR问题,感知器无法对线性不可分割的数据进行分类。 这是Minsky对神经网络社区的反驳。 此后,神经网络的研究一直止步不前,到在80年代才有所突破。

image

  1. 尽管早在1973年由Linnainmaa [5] 以“反向自动差异化模式”为名提出了BP思想,但是直到1981年,Werbos [6]才提出将神经网络特定反向传播(BP)算法应用到多层感知器(MLP)。BP仍然是当今神经网络架构的关键组成部分。有了这些新想法,神经网络的研究再次加速。1985年至1986年间,神经网络研究人员相继提出了采用BP训练多层感知器(MLP)的理念(Rumelhart,Hinton,Williams [7] – Hetch,Nielsen [8])

From Hetch and Nielsen

  1. 另一个学派,在1986年,J.R.Quinlan [9]提出了另一个非常著名的ML算法,我们称之为决策树,更具体地说是ID3算法。这是机器学习另一个主流的闪光点。此外,ID3以软件的形式发布,能够以简单的规则及其明确的推论更好地应用到实际生活中,与黑匣子神经网络模型相反。 在ID3之后,社区探索了很多不同的可用方案和算法改进(例如ID4,回归树,CART …),而且仍然是机器学习中的活跃话题之一。

image

  1. 机器学习领域最重要突破之一是Vapnik和Cortes [10]在1995年提出的支持向量机(网络)(SVM),它具有非常强的理论论证和实证结果。SVM将机器学习社区分为NN(神经网络)和SVM两个派别。 然而在2000年左右,SVM内核化版本提出之后,NN在这两个派别之间的竞争并不容易(我无法找到关于该主题的第一篇文章)。SVM在很多之前用NN模型解决的问题上得出了最佳结果。 此外,与NN模型相比,SVM能够充分利用凸优化,泛化边际理论和内核化的所有深奥知识。 因此,它可以从不同学科中获得巨大的推动力,促进理论和实践的快速发展。

image

  1. NN模型受到的另一次重创是1 9 9 1年Hochreiter的论文[40]和2001年Hochreiter等人的论文[11],表明在使用BP算法时,NN单位饱和后会发生梯度损失。简单来说,训练NN模型时由于单位饱和,在迭代超过一定数量后冗余,因此NN非常倾向于在短时间的时期过度拟合。
  2. 不久之前,Freund和Schapire在1997年提出了另一个实体机器学习模型,该模型采用增强的弱分类器组合,称为Adaboost。当时给这项工作的作者颁发了戈德尔奖。 Adaboost通过易于训练的弱分类器进行训练,给那些难的样本更高的权重。这种模型是许多不同任务的基础,如面部识别和检测。它也是PAC(Probably Approximately Correct)理论的一种实现。通常,所谓的弱分类器被Adaboost选为简单的判决树(单个决策树节点)。他们这样介绍Adaboost; 我们研究的模型可以解释为一个广泛的,抽象的扩展的研究在线预测模型到一般决策理论的设置[11]

2001年,Breiman [2001]探索了另一个综合模型,该模型集合了多个决策树,其中每个决策树的训练集都是从实例集合中随机选择的,每个节点的特征都是从特征集合随机选择的。基于这些特性,该模型被称为随机森林(RF)。RF从理论上和实际上都证明不会产生过拟合。甚至AdaBoost在数据集中有过拟合和离群点时,随机森林能有更好的鲁棒性(有关RF的更多详细信息,请参阅我的旧帖子http://www.erogol.com/randomness-randomforests/)。随机森林在许多不同的领域,如Kaggle比赛中也有很出色的表现。

随机森林是树预测因子的组合,每棵树取决于独立采样的随机向量,并且森林中的所有树都具有相同的分布。森林的泛化误差a随着森林中树木数量增多而收敛[12]

随着时间向今天靠近,神经网络(NN)的一个新时代——深度学习已经被商业化了。这个短语只是指具有许多广泛连续层的NN模型。三层的NN模型崛起大致在2005年,由近期和现在的Hinton,LeCun,Bengio,Andrew Ng和诸多大师结合了许多不同的发现。

下面我列举了一些机器学习领域重要的概念
  • GPU编程
  • 卷积NN [18][20] [40]
  • 解卷积网络[21]
  • 算法优化
  • 随机梯度下降[19][22]
  • BFGS和L-BFGS [23]
  • 共轭梯度下降[24]
  • 反向传播[40][19]
  • 整流器单元
  • 稀疏性[15][16]
  • Dropout网 [26]
  • Maxout网[25]
  • 无监督的NN模型[14]
  • 深度信念网[13]
  • 堆叠式自动编码器[16][39]
  • 去噪NN模型[17]

结合所有这些想法和未列出的想法,NN 模型能够在对象识别、语音识别、NLP等不同的任务中击败之前的技术。但是应该注意的是,这并不意味着其他ML流派的结束。虽然深度学习的成功故事还在接二连三的上演,但是它在训练成本和调整模型的外部参数方面还有很多争议。此外,由于其简单性,SVM的使用依然非常普遍。 (据说可能会引起很大争议)

在结束之前,我需要再介绍一个比较前沿的 ML 趋势。随着WWW和社交媒体的发展,一个新的术语——大数据出现了,并大大影响了ML研究。由于大数据的数据规模都很大,许多强大的ML算法在相当多的系统中(当然对大型技术公司来说不是这样)是无用的。因此,研究人员提出了一套新的简单模型——dubbed Bandit Algorithms,被称为强盗算法[27 – 38](通常都基于在线学习),使学习更容易,适应大规模问题。

我只是总结了机器学习的发展史。如果你发现错误,不足或没有添加引用的地方,请不要犹豫,可以通过各种方式告诉我。

参考文章
  1. 原文:Brief History of Machine Learning
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018.05.23 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
机器学习的前世今生:一段波澜壮阔的历史
AlphaGo的胜利,无人驾驶的成功,模式识别的突破性进展,人工智能的的飞速发展一次又一次地挑动着我们的神经。作为人工智能的核心,机器学习也在人工智能的大步发展中备受瞩目,光辉无限。
IT阅读排行榜
2018/08/15
2.6K0
机器学习的前世今生:一段波澜壮阔的历史
学界 | 从感知机到GAN,机器学习简史梳理
选自chatbotnewsdaily 机器之心编译 参与:蒋思源、李亚洲 机器学习是人工智能的一个重要分支,也是如今学界、产业界的热门研究。公司、高校倾倒了许多资源发展机器学习。近期的发展也催生了在许
机器之心
2018/05/07
1K0
学界 | 从感知机到GAN,机器学习简史梳理
深度学习-10:人工智能简史及三剑客
深度学习理论的突破和深度学习硬件加速能力的突破,使AI在模式识别、无人驾驶、智力游戏领域取得空前的成功。学术界和工业界全力以赴掀起人工智能的新一轮热潮。各大互联网巨头纷纷成立人工智能研究中心,唯恐在新一轮人工智能的竞赛被无情淘汰。 如今,机器学习的应用已遍及人工智能的各个分支,如专家系统、自动推理、自然语言理解、模式识别、计算机视觉、智能机器人等领域。但也许我们不曾想到的事机器学习乃至人工智能的起源,是对人本身的意识、自 我、心灵等哲学问题的探索。而在发展的过程中,更是融合了统计学、神经科学、信息论、控制论、计算复杂性理论等学科的知识。 人工智能是机器学习的一个子集。人类的智能是自然界的杰作,但我们对自身智能的理解都非常有限,对构成人的智能的必要元素也了解有限。无数的神级人物利用自己的智慧推动着人工智能的发展,让我们了解一下那一段荡气回肠的历史。
全栈程序员站长
2022/11/11
8710
机器学习简史和常用算法的梳理
原文:https://maoli.blog.csdn.net/article/details/115803729
润森
2022/08/18
8750
机器学习简史和常用算法的梳理
AI技术说:人工智能相关概念与发展简史
作为近几年的一大热词,人工智能一直是科技圈不可忽视的一大风口。随着智能硬件的迭代,智能家居产品逐步走进千家万户,语音识别、图像识别等AI相关技术也经历了阶梯式发展。如何看待人工智能的本质?人工智能的飞速发展又经历了哪些历程?本文就从技术角度为大家介绍人工智能领域经常提到的几大概念与AI发展简史。 一、人工智能相关概念 1、人工智能(Artifical Intelligence, AI):就是让机器像人一样的智能、会思考, 是机器学习、深度学习在实践中的应用。人工智能更适合理解为一个产业,泛指生产更加智能的
个推君
2018/03/21
2.2K0
AI技术说:人工智能相关概念与发展简史
机器学习简史
深度学习已经得到了人工智能历史上前所未有的公众关注度和产业投资,但这并不是机器学习的第一次成功。可以这样说,当前工业界所使用的绝大部分机器学习算法都不是深度学习算法。深度学习不一定总是解决问题的正确工具:有时没有足够的数据,深度学习不适用;有时用其他算法可以更好地解决问题。我们简要回顾机器学习方法,并介绍这些方法的历史背景。这样我们可以将深度学习放入机器学习的大背景中,并更好地理解深度学习的起源以及它为什么如此重要。
HuangWeiAI
2020/02/24
6130
机器学习常见算法总结
决策树算法 根据数据属性,采用树状结构建立决策模型。常用来解决分类和回归问题。 常见算法:CART(Classification And Regression Tree),ID3,C4.5,随机森林等 回归算法 对连续值预测,如逻辑回归LR等 分类算法 对离散值预测,事前已经知道分类,如k-近邻算法 聚类算法 对离散值预测,事前对分类未知,如k-means算法 神经网络 模拟生物神经网络,可以用来解决分类和回归问题 感知器神经网络(Perceptron Neural Network) ,反向传递(Back Propagation)和深度学习(DL) 集成算法 集成几种学习模型进行学习,将最终预测结果进行汇总 Boosting、Bagging、AdaBoost、随机森林 (Random Forest) 等
AomanHao
2022/01/14
5890
机器学习常见算法总结
机器学习概念总结笔记(三)
作者:许敏 系列推荐 机器学习概念总结笔记(一) 机器学习概念总结笔记(二) 机器学习概念总结笔记(四) 12)分类决策树C4.5 C4.5算法继承了ID3算法的优点,并在以下几方面对ID3算法进
serena
2017/09/30
1.8K0
机器学习概念总结笔记(三)
100+数据科学面试问题和答案总结 - 机器学习和深度学习
来自Amazon,谷歌,Meta, Microsoft等的面试问题,本文接着昨天的文章整理了机器学习和深度学习的问题
deephub
2022/11/11
1.1K0
100+数据科学面试问题和答案总结 - 机器学习和深度学习
Quora上的大牛们最喜欢哪种机器学习算法?
Carlos Guestrin,亚马逊计算机科学机器学习教授,Dato公司ceo及创始人 (Dato原名GraphLab,大数据分析云服务平台)
大数据文摘
2019/03/19
4400
Quora上的大牛们最喜欢哪种机器学习算法?
机器学习模型,全面总结!
附注:除了以上两大类模型,还有半监督学习和强化学习等其他类型的机器学习模型。半监督学习是指在有部分标签数据的情况下,结合监督学习和无监督学习的方法进行模型训练。强化学习是指通过让计算机自动与环境交互,学习出如何最大化奖励的策略。
算法进阶
2023/11/08
4340
机器学习模型,全面总结!
【综述】机器学习中的12类算法
最近在研究一些机器学习方面的论文,翻到了一篇较早的机器学习综述(2017年),虽然不是最新的研究现状,但考虑到经典机器学习算法其实发展并不像深度学习那么迅猛,所以其论述还是很有参考性。本文就其中关于机器学习算法分类的一段进行选摘翻译,以供参考。原文链接可通过阅读原文查阅。
luanhz
2021/07/23
1.2K0
【综述】机器学习中的12类算法
机器学习面试干货精讲
本内容涉及模型核心数学公式,把本人面试中常被问到问题以及模型知识点的总结,起到提纲挈领作用,在准备的过程中抓住每个模型的重点。
Coggle数据科学
2019/09/12
8690
机器学习面试干货精讲
机器学习-波澜壮阔40年
人工智能的再次兴起让机器学习(Machine Learning)这个名词进入了公众的视野,它成为当前解决很多人工智能问题的核心基石。
SIGAI学习与实践平台
2018/08/07
4210
机器学习-波澜壮阔40年
机器学习算法优缺点对比及选择(汇总篇)
本文的目的,是务实、简洁地盘点一番当前机器学习算法。文中内容结合了个人在查阅资料过程中收集到的前人总结,同时添加了部分自身总结,在这里,依据实际使用中的经验,将对此模型优缺点及选择详加讨论。
Ai学习的老章
2019/07/15
1.3K0
机器学习算法优缺点对比及选择(汇总篇)
机器学习基础知识点全面总结!
有监督学习通常是利用带有专家标注的标签的训练数据,学习一个从输入变量X到输入变量Y的函数映射。Y = f (X),训练数据通常是(n×x,y)的形式,其中n代表训练样本的大小,x和y分别是变量X和Y的样本值。
Ai学习的老章
2023/12/12
4810
机器学习基础知识点全面总结!
机器学习算法地图2021版
为了帮助大家理清机器学习的知识脉络,建立整体的知识结构,2018年SIGAI推出过机器学习算法地图,纸质版和电子版的阅读量超过10万。两年之后,我们对算法地图进行了优化升级,使得它的结构更为合理清晰,内容更为简洁。下面先看算法地图2021版的整图
SIGAI学习与实践平台
2021/03/22
1.1K0
机器学习算法地图2021版
机器学习常见算法优缺点汇总
机器学习的算法很多。很多时候困惑人们都是,很多算法是一类算法,而有些算法又是从其他算法中延伸出来的。这里,我们从两个方面来给大家介绍,第一个方面是学习的方式,第二个方面是算法的类似性。
机器学习AI算法工程
2019/10/28
1.3K0
汇总 | 机器学习算法优缺点 & 如何选择
机器学习算法太多了,分类、回归、聚类、推荐、图像识别领域等等,要想找到一个合适算法真的不容易,所以在实际应用中,我们一般都是采用启发式学习方式来实验。通常最开始我们都会选择大家普遍认同的算法,诸如SVM,GBDT,Adaboost,现在深度学习很火热,神经网络也是一个不错的选择。
昱良
2019/03/07
9430
人工智能之机器学习算法体系汇总
人工智能之机器学习体系汇总 此处梳理出面向人工智能的机器学习方法体系,理清机器学习脉络。 监督学习 Supervised learning Fisher的线性判别 Fisher's linear discriminant 线性回归 Linear regression Logistic回归 Logistic regression 多项Logistic回归 Multinomial logistic regression 朴素贝叶斯分类器 Naive Bayes classifier 感知 Perceptron
陆勤_数据人网
2018/02/28
8220
相关推荐
机器学习的前世今生:一段波澜壮阔的历史
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档