自适应线性神经网络（Adaline）

对比Rosenblatt

憋说话，先上图　-.-

Rosenblatt的计算模型

Rosenblatt

Adaline的计算模型

Adaline

找不同：激活函数用阶跃函数换成了连续型函数，用一个Quantizer函数进行类别预测

激活函数：用线性函数代替阶跃函数进行误差计算和权值更新 量化函数：类似Rosenblatt模型的激活函数，能预测对应输入的类别

梯度下降最小化代价函数

• Adaline模型相比Rosenblatt模型，定义了代价函数（cost function），最小化代价函数是许多机器学习算法的主要思想。
• Adaline模型中，代价函数用的是均方误差（Sum of Squared Errors ：SSE）

Paste_Image.png

好处：可以微分，是凸函数 可以用梯度下降的方法找到均方误差最小的权值

寻找最小均方误差就像下山一样，每次算法循环都相当于下降一步，下降一步的歩幅取决于学习率，与图中的权值点的切线斜率相关

梯度下降示意图

每次权值逼近均方误差最小点的过程就是梯度下降（Gradient Descent）

证明一下偏导函数计算方法

证明偏导函数计算方法

最终的权值更新公式如下

\Delta w_{j}=-\eta \frac{\partial J}{\partial w_{j}}=\mu \sum_{i}\left(y^{(i)}-\phi\left(z^{(i)}\right)\right) x_{j}^{(i)}

权值更新公式

Adaline算法是基于全部的训练数据，而感知器算法是每个样本都要计算一次误差，Adaline的处理方法有点像批处理的感觉。

Adaline的更新 self.w_[1:] += self.eta * X.T.dot(errors) Perceptron的更新 update = self.eta * (target - self.predict(xi))

学习率的影响和选择

学习率设置为0.01的时候，结果如左图，均方误差最小的点是第一个点，然后越来越大。当学习率设置为0.0001的时候，结果如右图，误差在逐渐减小，但是没有收敛的趋势。

对比学习率对于误差的影响

学习率设置，偏大偏小都会大幅降低算法效率。采取的方法是进行数据标准化（standardization）公式如下

\boldsymbol{x}_{j}^{\prime}=\frac{\boldsymbol{x}_{j}-\mu_{j}}{\sigma_{j}}

标准化公式

经过标准化的数据，会体现出一些数学分布的特点。标准化后，我们再次使用0.01的学习率进行训练分类。

标准化后的误差收敛

最后的分类平面如下图

Adaline分类结果

# encoding:utf-8
__author__ = 'Matter'

import numpy as np

class AdalineGD(object):
    # 自适应线性神经网络:ADAptive LInear NEuron (Adaline)

    # --------  参数  --------#
    # 参数1   eta:float   学习率
    # 参数2   n_iter:int  循环次数
    # --------  属性  --------#
    # 属性1   w_:1d_array     拟合后权值
    # 属性2   errors_:list    每次迭代的错误分类

    # 初始化
    def __init__(self,eta=0.01,n_iter=10):
        self.eta = eta
        self.n_iter = n_iter

    # 训练模型
    def fit(self,X,y):
        self.w_ = np.zeros(1+X.shape[1])
        self.errors_ = []
        self.cost_ = []

        for i in range(self.n_iter):
            output = self.net_input(X)
            errors = (y-output)
            self.w_[1:] += self.eta * X.T.dot(errors)
            self.w_[0] += self.eta * errors.sum()
            cost = (errors ** 2).sum()/2.0
            self.cost_.append(cost)
        return self


    # 输入和权值的点积,即公式的z函数,图中的net_input
    def net_input(self,X):
        return np.dot(X,self.w_[1:]) + self.w_[0]

    # 线性激活函数
    def activation(self,X):
        return self.net_input(X)

    # 利用阶跃函数返回分类标签
    def predict(self,X):
        return np.where(self.activation(X)>=0.0,1,-1)