Macheine Learning Yearning学习笔记（一）

Chapter1~Chapter 4谈了一些基本概念

Chapter 1、Why Machine Learning Strategy (为什么要学习机器学习策略)

这一章告诉我们机器学习策略的重要性，以一个实际的机器学习项目切入: 猫检测算法，这是一个经典的计算机视觉领域的问题，判断给定一张图片是否是猫。

当我们提出的算法准确性还不够好的时候，我们应该怎么做？这个时候我们可能会面临很多想法的选择，例如：

(1)获取更多的数据：收集更多的猫的照片

(2)收集更多样化的训练集。例如，猫在不寻常的位置的图片;不寻常颜色

的猫;不同相机设置下拍摄出的猫图; ....

(3)增加算法运算的时间，比如增加梯度下降算法的迭代次数

(4)尝试更大的神经网络，比如增加网络的层数(网络的深度)，隐藏单位的个数(网络的宽度)，这样网络会具备更多的参数，从而表征能力更强

(5)尝试更小的神经网络

(6)尝试添加正则化（例如L2正则化）

(7)改变神经网络架构（激活功能，隐藏单位数等）

(8)还有许多其它的idea尝试……

在这些可能会提高准确性的想法中，如果一开始就选择的好，那么会节约很多时间，从而提升效果；如果选择的不恰当，那么可能会浪费大量的时间去进行这些尝试。那么知道了这些，当我们遇到这种情况时，我们应该如何抉择？NG的这本书就是出自这个目的写的。很多机器学习问题给人们留下了很多可以借鉴的经验，这些经验会告诉你，那些尝试是有用的，那些尝试是作用不大的，而学习这些经验可能会节约我们很多瞎尝试的时间。

Chapter 2、How to use this book to help your team (如何使用本书帮助团队)

这一章说了自己为什么每一章都写那么短，这样打印出来也比较方便，随时可看~.~

Chapter 3、Prerequisites and Notation(基本概念)

要熟悉基本的机器学习概念， 如果不熟悉，可以先移步NG的经典机器学习视频。

善良的我已经找好了链接：http://open.163.com/special/opencourse/machinelearning.html

监督学习(supervised learning)：使用标记的训练样本（x，y）去学习一个从x映射到y的函数。

监督学习包括：线性回归(linear regression)、逻辑回归(logistic regression)、K-近邻算法(K-Nearest Neighbors)、决策树(Decision Trees)、朴素贝叶斯(Naive Bayesian)、神经网络(neural networks)(也称为”deep learning”)等。

无监督学习包括：聚类(clustering)、降维(reducing dimensionality)

Chapter 4、Scale drives machine learning progress (数据规模驱动了机器学习的进程)

深度学习(神经网络)不是新东西，已经存在几十年了，为什么现在才火起来？这个主要是由以下原因：

数据可用性：人们在数字设备(如电脑)的活动尝试了大量的数据，这些数据可以用来训练和喂给(feed)我们的学习算法。

算力：现在计算机的计算能力提升，使得能够计算更复杂网络和使用更大的数据训练。

举个例子：

即使数据量足够大，传统算法(如逻辑回归)在某个任务上表现性能也是”平稳”的。如下图，意思就是说即使给它更多的数据，算法也不会再有很大的提升效果。

这其实就是在某些任务上，传统算法的函数表征能力不足以学习到这么多数据。这个时候神经网络就登上历史舞台了。

在这种情况下，我们会得到更好的性能，当我们有：

（1）训练一个非常大的神经网络，使其在上面的绿色曲线上;

（2）有大量的数据。

当然神经网络的架构也很重要，这一点也有很多创新。

但是现在提高算法性能的更可靠的方法之一仍然是:

（1）训练更大的网络；

（2）获得更多的数据。

如何合适的完成（1）和（2）的方法是极其复杂的，这也是NG这本书要详细讨论的事情。

注意：上图Small NN指的是具有相对较少的隐藏单元、隐藏层、参数的神经网络。

参考:

2.https://xiaqunfeng.gitbooks.io/machine-learning-yearning/content/

更多个人笔记请关注：

知乎专栏：https://www.zhihu.com/people/yuquanle/columns

公众号：StudyForAI（小白人工智能入门学习）