宽度限定无限深做万有逼近

我们知道一维函数可以用分段的小矩形来逼近，如图1:

图1. 分割的区间变细，精度可以任意高。

而每个分段的小矩形又可以被如下的一系列小梯形来逼近，如图2：

图2. 当梯形的上下底长度接近的话，误差可以任意小。

所以根据三角关系，用这种分段的小梯形理论上也可以逼近任意函数。因此：限定宽度任意深网络做逼近的策略是，通过网络表示分段梯形函数来逼近任意函数。原论文展示了在宽度限定的情况下，一种通过层与层的复合来构造出一系列的分段梯形函数。

我们先规定网络所使用的激活函数是ReLU函数,（其它激活函数也可），网络要表示的是一维函数，那么通过四层每层2个神经元就可以构造出来一个下底是[a1,b1], 上底是[a1+\delta (b1-a1), b1-\delta (b1-a1)]的等腰梯形函数。

如下所示，每个方块代表一个神经元，梯形高度是1，左下角L1是最后输出函数，读者可以自行验证此表达式是否是个梯形函数。

图3.+号表示ReLU处理，左下角的L1是最后函数表达式，x1是变量

再给四层呢，可以表示下一段区间梯形函数。最终如果给定无限深，就可以构造无数多个精细的小梯形函数，以任意精度逼近目标的函数。n维的情形是类似的，这里就不再赘述了。

想关注更多有趣的机器学习/计算物理/医疗影像的科普/前沿研究，请关注我们的公众号：

这是一群致力于科研传播的faculty & PhD & Master记录分享点滴思考的平台，这里有我们在各自领域（机器学习，医疗影像，材料科学，凝聚态物理）涉猎研究的点滴感悟，有我们在国内，海外求学工作奋斗的酸甜苦辣，亦有偶尔的风月和我们的诗与远方。