解读谷歌的AI杀手级专利：Dropout

谷歌的Dropout专利于2019年6月25日正式生效了，到2034-09-03过期。

Dropout是什么？能干什么？

Dropout是一种预防过拟合的神经网络训练方法。通常神经网络的最后一层是全连接层，参数非常多，容易过拟合，只根据其中的某些显著的输入特征得到输出。为了避免这种情况，Dropout采用了每次随机丢弃一部分神经元的方式，迫使网络综合考虑所有的输入特征，从而缓解了过拟合的问题。

这个方法最早是2012-07-03发表在Improving neural networks by preventing co-adaptation of featuredetectors (https://arxiv.org/abs/1207.0580v1，封面如下图），论文的第一作者和通讯作者是大名鼎鼎的Hinton，深度学习教父，2018年图领奖得主之一，多伦多大学教授，从2013年开始投入部分精力在Google Brain工作。

下面具体来看一下这篇专利：System and method for addressing overfitting in a neural network（https://patents.google.com/patent/US9406017B2/en），从专利的时间轴、内容和影响这三个维度来解析。

专利的时间轴

ApplicationUS14/015,768 events

2012-12-24

Priority toUS201261745711P

2013-08-30

Applicationfiled by Google LLC

2013-08-30

Priority toUS14/015,768

2014-06-05

Assigned toDNNRESEARCH INC.

2014-06-05

Assigned toGOOGLE INC.

2014-06-05

Assigned toDNNRESEARCH INC.

2014-06-05

Assigned toGOOGLE INC.

2014-06-26

Publication ofUS20140180986A1

2016-08-02

Publication ofUS9406017B2

2016-08-02

Applicationgranted

2017-10-05

Assigned toGOOGLE LLC

2019-06-28

Applicationstatus is Active

2034-09-03

Adjustedexpiration

可以看出，专利的首次优先权授予时间是2012-12-24，晚于其论文发表时间2012-07-03. 在美国，这种时间顺序是OK的，在论文发表一年以内都可以针对论文的发明申请专利。但在欧洲，这是不行的，之前发表的论文破坏了专利的新颖性。也可能作者们发表后才发现这个方法引起了大家的广泛关注和使用，萌生了写专利的想法。

该技术发明者包括：GeoffreyE. Hinton、Alexander Krizhevsky、IlyaSutskever、Nitish Srivastva；而目前的专利权受让人（Current Assignee）是谷歌。

专利的内容

System andmethod for addressing overfitting in a neural network：一种防止神经网络过拟合的方法和系统。

一方面，提供了一个训练神经网络的系统，其大多数的神经网络特征检测器会连到一个开关上，这些开关会随机关闭特征检测器。

另一方面，提供了一个训练神经网络的方法。

也就是说，主要保护的是训练中用到的Dropout方法。

具体权要就不一条一条列了，主要思想就是上面这两条，只是补充完善各种case，加上各个外围条件。

专利的影响

看到网上有人说专利具有地域性，我们在中国没事，其实是有误解的。发明人很早就申请了PCT专利，对于中国这么大的市场，当然也会有所布局。因为，在国内，只要在训练神经网络过程中使用到了Dropout的技术，就是侵犯了这项专利。

该专利在世界范围内的申请：

2013: US AU BR WO

2016: US

2013:

Applicationnumber: US14/015,768

Filing date:2013-08-30

Legal status:Active

Applicationnumber: AU2013370515A

Filing date:2013-12-23

Legal status:Pending

Applicationnumber: BR112015015230A

Filing date:2013-12-23

Legal status:Search and Examination

Applicationnumber: PCT/US2013/077608

Filing date:2013-12-23

Legal status:Application Filing

2016:

Applicationnumber: US15/222,870

Filing date:2016-07-28

Legal status:Pending

ApplicationUS14/015,768 events

写在最后：个人评论

这项专利带来的影响是毫无疑问的，因为Dropout技术是训练神经网络的基本技术，现在已经被广泛应用。如果Google公司追究起来，大家都会遇到麻烦。不过一个问题在于，这是属于实现性算法，举证较为困难。训练过程又是一个非常私密的过程，除非审查代码，否则无法确定是否侵权。所以从这个角度来说，又不用太过于害怕。

总之，要想立足，必须有自己的专利武器，这一块还要多学习，不断进步，真正自强。