深度学习杂谈-2

深度学习以前是飘在云端的，我要让他落地。他的难度在于要软着陆，否则会很疼。

----Hinton

寻找好的深度学习模型就像是挖矿，需要有强大的计算能力支持。一旦挖到，你家就有矿了。

----- 杰斐逊

深

度学习和很多其他的学科一样，他的发展是实践科学+工程+商业模式的有机结合的成果。电的应用，电子信息科技的应用也都这样。和普通的研究不太一样，深度学习的研究对计算机工程依赖比较强。

1

在学习resNet的时候，模型的层数很有意思： 50，101，152。 看起来就感觉像是用计算机工程的方式尝试出来的。在深度学习发展的过程中，计算机工程的发展对他无疑是起了推波助澜的作用的。

之前曾经有一个论战，大概是一个人讲说，深度学习有啥了不起的，还不是因为计算能力强了。另一个讲，说啥呢，不是算法改进了这个深度学习今天能这样？这样的讨论和“你瞅啥，瞅你咋的”这个经典论战其实意思差不多…

2

深度学习不是一个直接的工具。并不是说我有一堆通用的模型，拿来就可以用。他不完全是这样。他是一套理论，方法，虽然有一些指导性的研究成果，但是在实际的使用当中，通常不能直接使用。这就使得深度学习的研究成果在细分领域应用的时候，仍然有一些研究工作。

打个比方说，要做一个这样的系统：我拍一下农作物的照片，就能够知道农作物是否有病虫害。那么直接去拿现成的通用模型，完全的匹配那恐怕没有。需要拿模型，在一个数据集上训练，训练出一个分类器，能够把各种病虫害和图片对应起来。

那么就是三个问题：

（1） 数据集怎么来

（2） 模型怎么设计

（3） 怎么才能训练好

假设有数据集存在的情况下，那主要的工作就是设计模型，训练模型。如果继续拿三维空间打比方：

我们想做的事情就是怎么能够在空间里面找类似曲面的东西，能够把颜色不同的点区分开来。在实际应用中，维度可能是很大的，几百，几千，上万，甚至更大的数量级。

这个过程实际上就是找到一个这样的模型去把各种病虫害从图片中识别出来。

3

那在这里面，计算机工程就有很大的发展空间。而且，即便计算能力很强，也是无法滥用的。因为计算量实在是太大了。通常使用的方法叫做“启发式”。什么意思呢？就是“我也不知道为什么，我就想这么试试“。因此从某个角度看，这个工作已经不是传统意义的”工程“，他是”艺术“。

4

举两个例子：

模型选择

(1) 同一个模型的不同设置：比如，初始值，网络层数，下降速度，算法选择 等等

(2) 不同模型比较

在模型选择的过程中，可以利用模型训练的特点，实施“启发”式的方法。比如，在第一轮训练中选择出表现好的10个模型，进入下一轮训练。等等类似的方法。但是有一点是肯定的，那就是绝大部分情况下，无法穷举。

降维

因为运算量是在太大了，数据里面有些维度起的作用是不是差不多？是不是有些维度可以不要了？那我们是不是可以试试去掉一些维度？ 比如从三维降成二维，这样分析这个图就容易很多了。

如果说，维度是n, 那么降低维度的可能的组合是2的n次方减二。这个量是非常大的。就需要根据经验，根据蛛丝马迹去寻找合适的降维手段。

因为有这么大的计算量，所以在云计算平台上，提供了各种各样的实施手段，提供分布式的可扩展的计算平台。大概的意思是说，花的钱越多，得到比较好的模型的可能性越大。

在有了指导性方向的前提下，寻找合适的模型就像是挖矿。