Yoshua Bengio：在蒙特利尔，我如何让机器学习“平地起高楼”

来源：CIFAR

编译：Bot

编者按：CIFAR是加拿大政府牵头投资的一个先进科学项目研究所，多年来，它致力于为各行各业的佼佼者提供研究资金支持，其中包括机器学习领域的两位先驱：Hinton和Bengio。近日，CIFAR官网刊登了一篇对Yoshua Bengio的专访，在文章中，Bengio不仅讲述了研究实验室从无到有的建设过程，也展示了自己青年时期的彷徨和梦想。

Yoshua Bengio，听到这个名字，相信不少人心中会升起一股钦佩。Hinton、Bengio、LeCun，曾经的加拿大学术界“三剑客”，也是公认的北美地区深度学习“三巨头”。如今他们一个去了Google，一个去了Facebook，连曾经梦想着为工业界输送生力军的Bengio，最后还是走出了大学的三层教学楼，接过微软递来的“橄榄枝”。

但总的来说，Bengio是三人中最看重学术纯粹性的。虽然在微软担任顾问，他现在还是CIFAR机器与大脑学习项目的联合主任，是加拿大计算机科学与运筹学系的全职教授，也是蒙特利尔大学统计学习算法研究主席。

在天下熙熙皆为利来的当前，保持这样一颗教学的初心是不易的。那么，在蒙特利尔大学原本“贫瘠”的土壤中，他是如何缔造出世界上最好的人工智能实验室之一的呢？

唯一的学者

1993年，Yoshua Bengio入职蒙特利尔大学担任教员。在当时，这个法国小伙是学校里唯一一个做机器学习和神经网络的人，所以他对前来询问的学生来者不拒。很快，这份热情就把他压得不堪重负，有了前车之鉴，慢慢的，Bengio逐渐适应了有选择性地答疑。

为了支撑研究进展，除了向学校申请研究资金，Bengio还积极利用校外的社交网络，联系上了在宗师级大牛Michael I.Jordan门下读博士后时有过合作的对象。在这些为数不多的学者中，多伦多大学的Geoffrey Hinton成了他日后的挚友。

时至今日，我们已无法想象独自奋斗的Bengio是怎样一副处境，但在这种情况下，自己拓展，甚至构建“学术圈”似乎是摆脱困境的最好方法。而他是幸运的，蒙特利尔大学在他身上看到了潜力，并迅速给了他教学赞助。

Yoshua Bengio

但缺乏经验的他还是低估了努力奋斗带来的后果。

在学校教学的前7年，Bengio只有两门课，所以有余力去完善自己的人脉网络，花更多时间去做研究。但当第二个孩子出生时，他已经入选加拿大首席研究员计划，教学任务也从两门课也变成了三门课，再加上筹建实验室，他第一次对家庭感到愧疚，也对教师这份工作感到不知所措。

回想起来，我完全可以创造更好的平衡。

我应该向一些年长的教授请教，无论他们和我是不是一个领域的人。如果我不那么内向，我也许能得到更多经验，但当时的我并没有意识到这一点。无论你是哪个部门的人，新教师就应该主动伸出手去建立联系，老教师们通常都很乐意帮忙，只是他们不会主动。

我必须成为专家

虽然没能协调好工作和家庭的关系，但Bengio还是从校外同行身上获得了不少启示。在第一个十年里，他和异地的Hinton进行了大量互动，而正是这些讨论，让他把扰动的心平静下来，专注于自己的研究。

Bengio从Hinton身上学到的经验是不要把自己的努力分散到不同地方。作为一名科研人员，他不应该为了当天的想法忘记自己的长期目标，无论这个想法的背后是否包含金钱、地位诱惑。同时，他每天至少应该为长期目标预留一部分时间，因为这个目标才是事业成功的决定性因素。

想法越多，就越容易陷入困境，也越容易错过重要的东西。

Geoffrey Hinton

在之后的十几年中，机器学习逐渐成了一个“吸金”又“吸睛”的领域，但这个理念一直支撑着Bengio保持“中立”。他认为，每个人都必须找到属于自己的路，如果你的目标是精通某一领域并取得突破，你就必须成为一名专家。因此，如果你是一名年轻的教员，你就应该瞅准一个方向，让自己成为这个领域最强大的人。

这样的观点并不是“站着说话不腰疼”。事实上，早在90年代，神经网络和机器学习就已经引起了工业界的兴趣。当时加拿大政府为了鼓励合作，向研究人员提供了数目可观的科研赞助资金。面对机遇，Bengio自然也无法免俗，当时他找了一些和自己研究契合领域的项目，收了不少赠款。

但这段经历显然给他留下了不良印象。当他向加拿大自然科学和工程研究委员会（NSERC）等组织提出建议时，他发现这些“金主”完全不关心研究人员的想法和意愿，他们只期待几年后的成果报告。

而这还不是更严重的。在学界，科研人员通常没法预测什么是热门课题，自己以后会遇到什么难题。但当你和公司签订协议后，你就可能会丧失研究的纯粹性，转而去迎合公司管理层的喜好。以NSERC的项目为例，Bengio就被要求去做最“先进”的研究，然后不停发表引人注目的研究论文。

对青年研究者来说，这绝对是科研道路上的甜蜜陷阱。

“以人为本”的实验室

凑足经费后，蒙特利尔的人工智能实验室开始步入正轨。早期，由于种种原因，Bengio其实还没有攒够培养博士后的钱，实验室运营捉襟见肘。为了解决这个问题，他尽量招收底子比较扎实的学员，尽快成立了一支强大队伍。至于实验室的管理，他大胆信任学生的自然领导能力，招收实习的博士生、研究生甚至本科生来进行尝试。

我们不应该低估年轻人在管理上的能力，他们可能比年长的人更优秀。

如今，虽然有不少大学都在抱怨科技公司抢走了学校的人才资源，但Bengio并没有为此担心。

相反地，他面对招生一直抱着一种“赌博”的心态。比起计算机科学和机器学习专业的优秀学生，Bengio更喜欢有深厚数学、物理学背景，且对机器学习有极大兴趣的博士。他认为这些人虽然目前进不了Google Brain这样的优质机构，但凭借知识功底，他们可以在短短两三年内就掌握深度学习技术，也能证明自己在这一领域的能力。这是个双赢的结局。

至于这些博士肯不肯来，这完全出于个人选择。如果愿意加入实验室，他们能参与研究，发表论文，大大提高自己对工业界的价值。这也意味着更多的公司选择、更高的职位和更多薪水。当然，有些人也不需要读个博士后来证明自己，他们可以直接入职工作。

另外，对于某些人来说，钱并不是他们的唯一追求。成为博士后带给他们的好处就是了解学术圈的运作方式，参与管理和做一些自己真正喜欢的研究。

机器学习“宗谱”

作为学校的“大老板”，Bengio的实验室已经经历了从最初的3人到现在几十人的蜕变。但这不是一朝一夕就能实现的，他必须学会如何管理更多的人、建立基础设施和管理资金，而这是一个循序渐进的过程。

现如今，许多大型实验室都普遍存在一个问题，就是随着人数增多，实验室发表的论文虽然多了，但教授花在学生身上的时间却少了，那么教授对学生又有什么意义呢？对此，Bengio的做法是把学生从家里拽出来，让他们始终和同学、其他教师互相协作。这样，虽然他们丧失了和教授的一对一关系，但这些人能围绕多个教授形成复杂网络，学到的东西更多。

而这种做法的一个前提就是让学生们亲自到实验室学习，让他们做到物理层面上的靠近。打通他们和陌生教授之间的交流障碍，不断扩大学习小组。

其他事项

既然是跟随导师做研究，研究经费是很多人关注的内容。众多周知，相比美国，加拿大博士的待遇会逊色不少，但这种差距似乎并没有阻止一批批学生投奔Yoshua Bengio的步伐。

在Bengio的实验室里，他采取的方法是把所有资金纳入总的资金池，当学生有科研经费需要时，任何人都会获得资助。换句话说，这其实是让学生放下资金压力，优先把精力投入到合作和研究中，而不是把经费额度作为标尺，衡量自己的科研目标。

当然，这中间必然有一个申请的过程，而资源也一定会向资深教授倾斜，降低他们获得资金的门槛。Bengio认为，如果科研人员不觉得自己受到金钱限制，那么他们一定是抱着快乐和探索的心在研究。

看到这里，也许有读者对跟随Bengio学习已经有所期望。事实上，自从深度学习热度被炒起来后，寻找优质生源对Bengio来说已经成了挑战，因为去年光是申请简历，他就收到了700多份；而今年，这个数字估计会超1000。在这种情况下，他无法做到亲自回复每封电子邮件，学生也没法体现自己的优势。

而Bengio本人也透露了录取率较高的几个途径，一是上他的课，给他留下深刻影响；二是去他的实验室当实习生，毕竟博士学习需要5年，合不合的来，这是件需要实践检验的事情。至于不在加拿大的同学，大家也不必气馁，你们要做的是让自己在顶会中崭露头角，并主动和Bengio本人建立联系。

作为学术派的代表，Bengio多少也会参与一些企业项目。对于这一点，他本人也积累了一些心得：有时候，你的期望与企业的期望合不合拍，这可能是合作了几年后才会知道的东西。但作为研究学者，你要做出一些事先声明，比如学者不是生产产品，也不是在给工业界提供廉价劳动力，他们的价值在于提出改变业务的惊人想法，因此雇佣人才本质上是一种变相投资。

有了这些想法，企业还要组织内部人员进行实现，否则合作很可能就失败了。AI技术很诱人，但企业也必须为此付出相当的代价。

总之，无论是经营实验室，还是治学研究，你都必须保持自信，保持自我独立思考的能力。如果感到困惑，就放下所有事，放下编程，有一些答案总是存在于我们大脑的深处，用一周时间思考让你烦恼的重大问题，有时也很有效果。

原文地址：www.cifar.ca/news/news/2018/08/01/q-a-with-yoshua-bengio

第三届认知系统与信息处理国际会议（ICCSIP2018）

随着脑科学、认知科学，以及计算资源的迅速发展，新一代人工智能技术正在从感知向认知层面迈进。认知技术使得智能体能够具有更高的的认知能力，并能适应复杂环境，完成复杂任务，实现与人、环境与其他智能体的共融。与传统机器学习技术相比，认知学习强调对人脑与人体的感知与行为共融的模拟，对主动性、适应性与可解释性提出了更高的要求。而这些问题既是突破新一代人工智能技术的关键，也代表着未来智能机器人的发展趋势。

针对上述议题，中国人工智能学会认知系统与信息处理专委会联合中国自动化学会认知计算与系统专委会共同主办第三届认知系统与信息处理国际会议(2018 Third International Conference on Cognitive Systems and Information Processing,ICCSIP)。会议将于2018年11月30日至12月1日在清华大学举行。会议主题为“The Future of the Intelligent Robot”，讨论认知系统和智能信息处理领域的最新研究成果及发展趋势。

本届ICCSIP会议由中国科学院院士张钹院士和中国工程院院士李德毅院士担任名誉主席，由清华大学孙富春教授担任大会主席，清华大学主办。会议录用的论文将在Springer下的计算机与信息科学通信（Communications in Computer and Information Science, CCIS）上发表，并全部EI检索。优秀论文将推荐至SCI期刊《中国科学：信息科学》、《Tsinghua Science and Technology》,《Cognitive Computation and Systems》和EI收录期刊《自动化学报》，《机器人》等。同时本届会议设有多个SCI/EI专刊，并设Best Conference Paper Award 和Best Student Paper Award.

欢迎认知系统和信息处理等相关领域的研究人员投稿，共参盛会。详情请登录以下网站查询：

01

Subject Areas

Original papers are invited from multidisciplinary perspectives on subject areas including, but not limited to

Cognitive Systems

Cognitive Sciences and Technology

Cognitive Computing Model

Visual Cognition and Computation

Auditory Cognitive Processing

Haptic Cognitive Processing

Cognitive Psychology

Cognitive Robotics

Cognitive Radars

Cognitive Radio

Information Processing

Intelligent InformationProcessing

Multi-Modal InformationFusion

Cross-Modal Transfer and Learning

Intelligent Situation Awareness

Active Perception

End-to-End Learning

Reinforcement Learning

Imitation Learning

Brain-Computer-Interactions

02

Important Dates

Paper submission deadline:

Sep. 20, 2018

Camera-ready copy and author registration:

Oct. 10, 2018

03

Information and Enquiry

联系我们