R语言机器学习Chapter1

说在前面:

最近整理一下电脑文件, 发现了自己好早之前学的一本书的笔记, 现在想把它整理一下发布到网上。如果能给看到的人带来一下价值, 那这些笔记也发挥了其应用的价值, 若读者还能讨论一二, 那就幸甚至哉了. (bb之语, 还请莫怪. 主要的目的就是整理一下小白学习的笔记.)

前言

小白我最近整理了一下自己之前学习的一些无用的知识, 越发地想将其发布到网上, 一来也是重新学习了一边知识, 二来若是有大佬看见还能指点一番, 就非常nice了. 不过, 这些可能主要就是写给自己看的, 若有错误的地方, 还请指出. 另, 不喜勿碰.

本笔记的内容主要是关于Abhijit Ghatak所写的Machnine Learning with R, 本书的大致内容可以参考这个链接. 但, 本书似乎偏向于统计类的介绍, 那些高大上的神经网络倒是没有提到.只要愿意花时间, 学习起来不算太难(毕竟有代码示例, 但就真正解决实际问题而言, 可就不是这么回事了).

下面就进入到本书的第一章吧.

第一章: 线性代数、数值优化及其在机器学习中的应用

内容梗概:

线性代数中的基础概念

数值优化的一些内容

简单应用

第一章大多为一些基本的概念, 下面进行一一的介绍.

线性代数中的基本概念

标量: 可以认为就是一个数

向量: 与标量不同, 向量是由多个有序数组组成, 不过当个数为 1 时也可以将向量认为是标量

矩阵: 就是一张数表, 按照行列的排列方式所组成的一张数表

如下面的形式所示:

一些有关矩阵计算的例子

这一部分中, 会给出一些具体的简单的R语言代码例子来理解理解这些概念.

回归的表达

矩阵的表达形式为:

最小二乘法

最小二乘目的就是将观测的值与预测的值之差的平方之和降到最小。残差平方和为：

梯度下降

梯度下降是用于求解函数的最小值问题。

梯度下降的思想为：首先初始化迭代数值x0，当x0的残差不满足给定的精度时，对初始值进行迭代，迭代的方向是按照梯度的反方向迭代（迭代的步长可人为设定。）直至满足给定的精度停止迭代。

求解矩阵的高次幂

可以将矩阵进行特征值分解，再求解矩阵的高次幂。

PCA与SVD

这里就不贴数学表达式了, 直接照搬书本中关于这一部分的代码吧, 如果想要深入了解的话, 可以查看相关书籍.

Arrythmia set例子

数据来源 Arrythmia set

数值优化

对于无约束优化问题：

可以采取梯度求解的方法解决问题：只要近似解满足给定的精度，即可认为近似解为其解。

停止准则：

函数的泰勒展开式：

令

这样得到了

Newton Raphson算法：

for t = 0,1,…,till converged

compute and

choose learning rate

另外在R中，gl函数可以使用IRWLS（Iteratively Reweighted Least Squares，重新加权迭代最小二乘法）进行优化。

BFGS算法（Broyden, Fletcher,Goldfarb, Shanno)）