各位小伙伴们大家好,好久不见,今天让我们来一起聊一聊现代神经网络中必不可少的一个组成部分激励函数以及我们在机器学习中为什么少不了激励函数.
那首先第一个问题,什么是激励函数呢?...是我们预测得到的结果.用这个式子,我们就可以很好地来去描述刚才我们提出的那个线性问题,因为W提出来的是一个固定的数,但是这样似乎并不能符合我们想让这个直线扭动起来成为非线性方程的一个结果,这个时候,就需要我们这个文章的主人公激励函数了...,这个时候激励函数就拔刀相助,出来说,让我来掰弯他吧(y=AF(Wx)),这里的AF就是所说的激励函数.激励函数这时候掏出了自己的掰弯利器,用力套在了原函数上,这样原函数就被掰弯了....现在举个例子:假设现在我使用了relu这个掰弯利器,如果此时wx的结果是1,y还将是1,wx的结果是-1的时候,y的结果这个时候就可能是0,你甚至可以创造自己的激励函数来去处理自己的数据问题.不过要确保的是这些激励函数是必须要可以微分的...在我自身总结和结合前人的教训中可以得出经验.在少层的神经网络中,我们可以尝试使用很多种不同组合的激励函数.在卷积神经网络的卷积层中,推荐的激励函数是relu.在循环神经网络中,推荐的是relu或者是tanh