在 ASC19 超算总决赛期间,4月24日举办的“第21届HPC Connection Workshop国际超算高峰论坛”上,蔡绍棠教授发表了超算与忆阻器的演讲。(摄影:邸利会)
撰文 | 邸利会
“虎妈”这个名号可能很多人都知道,她曾因为写了一本教育子女的书《虎妈战歌》(Battle Hymn of the Tiger Mother)在欧美引起巨大争议——很多华人认为是习以为常的教育方式,在一般的美国人看来是过于严格了。
虎妈是耶鲁的法学教授,能培养出这样一位女儿,想必她的父亲也不简单。事实上,她的父亲的确很厉害。
她的父亲Leon Ong Chua(中文名蔡绍棠),是伯克利的教授,他在非线性线路理论和细胞式类神经网络理论上有很大的贡献,他发明的“蔡氏线路”第一次在实际中演示了混沌现象,而且他在1971年的文章中预测了忆阻器的存在,37年后,由惠普的一个研究小组得以实现,实际造出了这一器件,他被称为“忆阻器之父”。
在今年4月21-25日于大连理工大学举行的2019 ASC世界大学生超级计算机竞赛总决赛中,Leon作为大赛评委以及国际超算高峰论坛的演讲人也受邀出席,借此机会,《赛先生》采访了Leon教授,就当下火热的深度学习、类脑计算、忆阻器的发展甚至如何教育子女,询问了他的看法。
在4月25日的2019 ASC世界大学生超级计算机竞赛总决赛颁奖典礼结束后,蔡绍棠教授接受了《赛先生》的独家专访。
赛先生:今天我们谈人工智能,会认为卷积神经网络(Convolutional neural network, CNN)是一个基石,但很多研究者也在研究类脑计算,你怎么看待如此不同的两种途径,谁可以通向真正的人工智能?
Chua: CNN是否代表了未来?我想还需要再看几年。现在,能看到发表出来的一些好的结果,但炒的太热了。这些做的好的是一些简单的情形,即使是这些简单情形,依然不够实用,消耗了大量的金钱、能量和时间,学一些简单的任务就需要好几周、好几个月来学,整个过程是很昂贵和耗时的。
随着对大脑认识的逐步深入,我觉得真正的人工智能才刚刚开始。现在,没有人真正知道大脑是如何工作的,没有人知道为什么深度学习有效果,它就是有效果,不像之前那样能解释原因。如果能解释的话,就能证明,但现在还没有这样的知识。深度学习是实验上有效果,短时间内好像不太能找到原因(为什么有效果)。
即使(可解释)最后得到了解决,实际中,训练模型、找到最佳的参数,也是得花很长时间才能找到答案。因为在围棋上机器战胜了人类,深度学习获得了大众关注,令人印象深刻,但也是得花很大的能量、时间去训练一个人工智能的棋手。
CNN是有效果的,但不实用,这是我现阶段能说的。
我想类脑计算是未来的方向。不过,这取决于两个方面的同步发展,一是发展神经形态算法(neuromorphic algorithms),二是发展能实现这些算法的设备。
因为即使你有理论,依然需要花时间(才能得到结果),但如果你有设备,就像我今天提起的忆阻器,因为我们谈的是非常快的处理,不存在计算,(就会很快)。我们今天所有人工智能做的计算,都得计算机花很长时间来解方程。如果你用忆阻器作为一个重要部件,那就不会是解什么方程,它就是方程本身, 芯片自身、设备自身,方程就是答案。
首先,忆阻器非常小,如果要像脑一样处理,必须得小;第二,消耗的能量必须少,忆阻器消耗一点点能量,而且很快。今天符合这两点的(其他设备)还不存在,它们都需要用超级计算机去缓慢地解方程。
赛先生:细胞式类神经网络(Cellular neural networks,CNN),也称作CNN,和卷积神经网络有什么关系?
Chua: 你可以说,深度学习是几种神经网络的一般化。细胞式类神经网络是我大约35年前发明的, 第一本书就叫做《细胞式类神经网络》,甚至基本的方法在我的书里叫做模版(templates),人们或许不知道,因为那个时代不是人工智能的时代。有意思的是,卷积神经网络和细胞式类神经网络是同一个名字,但CNN这个词首次出现时,CNN电视台说我抄袭了他们,差点起诉我,然后我给他们一篇论文说,我们是比你们早的,早于伊拉克战争,我是第一个用CNN的,如果你仔细看卷积神经网络的方程,实际上是细胞式类神经网络的一般化。
赛先生:和我们分享一下1983年发明蔡氏电路的故事?
Chua: 那是一个非常重要的进展,在七八十年代的时候,大家对混沌很有兴趣,基本的论文是来自MIT的一位数学家Edward Norton Lorenz,他是第一个提出一个非常简单的非线性的方程,如果用计算机去解,答案是混沌的。通常,答案的解是周期性的。我们想象自然也是周期性的。如果是非常的非线性,可能结果就永远不是周期性的,那就必须持续永远进行下去,这叫做混沌。
这是一个非常基本的发现,之后几百篇论文相继发表,但都是从数学角度的,没有人用一个实际的机制或者说是机器可以真的看到混沌。我决定发明这种线路,希望能实现,第一,这是混沌的,第二,当数学上解决的话,能给出观察。这样,我就说服了所有人,混沌不仅仅是一个数学的概念,混沌是真的。
我知道,这样一个线路必须是非线性的,必须有至少三个动力要素,比如2个电容,1个电感。我决定设计这样的电路,不仅能表现混沌,而且是最简单的,如果不是最简单的,人们会感到害怕。因为我的背景是非线性电路理论,所以我知道怎么做。
这是第一个这样的线路,我发明了它,而且迄今还是最广泛使用的,最简单的。在其他的一些实际的系统,甚至是机械系统中,人们也发现有线路有混沌,但都太复杂了,可我的系统花5美金就可以做一个,非常便宜,也很容易理解。
这就是蔡氏线路,我没有以自己的名字命名,而是我的一位同事建议,你是第一个做出实现混沌的线路,建议在发表文章的时候题目中加我的名字。
赛先生:您预测存在忆阻器这样一个东西,37年后才被一个研究团队实现,为什么会经历这么久?
Chua: 在我1971年的论文中,我实际创造了3个(忆阻器),但这个被物理学家称作是对原理的证明(proof of principle),用了一个箱子大的线路,也需要电池,不是特别实用。要变的实用,需要用比较简单的材料造,去掉电池。为什么花了这么长的时间呢?原因是忆阻器要变得有效,必须要很小。
你知道摩尔定律,每两年的时间,晶体管数量翻一倍,速度翻一番,价格变成原来的1/2,这样经历了30多年的时间,但当晶体管越来越小,到纳米级时,再变小的同时要保持仍然工作就很困难,成本也增加了,因为受到了量子效应的影响。
而忆阻器的发展正好是变的越来越小,直到能工作。这就正好挽救了局势,因为必须非常小,才能让忆阻器有效果,这就像大脑一样,大脑有神经元,有突触,突触很小。别忘了我们是在纳米尺度上讨论问题,这就是为什么经历了这么长的时间,要达到这么小,就得等技术的发展,等无法用这样的技术造晶体管时,我们就可以用来做忆阻器,忆阻器是越来越小,但会越来越好。
赛先生:在后摩尔时代,我们看到很多技术在发展中,比如行业特定设计、量子计算、3D堆叠,也有新的材料,比如碳纳米管等,忆阻器在这片看起来混乱的情形中将扮演怎样的角色?
Chua: 量子是非常不同的另外一个门类,目前没有人能建造一个实用大小的东西,花费不菲,主要的应用在安全领域。碳纳米管、忆阻器以及其他设备,他们不是互相竞争,而是互相帮助,碳纳米管是二十年前的,现在仍然难,是因为很难在一个实际的系统中去用。这是忆阻器不一样的地方,如果你对建造类脑的机器感兴趣,如果要有这样一个机器,你必须用忆阻器,因为脑是这样工作的,你想拷贝大脑,至少得有如此行为的器件。
赛先生:说起存储技术,您觉得忆阻器、自旋器件、相变存储、flash等新的存储,您看好哪一种呢?
Chua: Intel 已经在做flash,相变存储也是一种忆阻器,只是不同的名字,即使是自旋器件也是忆阻器。所有今天的计算机,iPhones, 高性能计算机都是基于开关,有高压,有低压,有高的电流,低的电流,然后用0和1表示,所有的这些都得需要电,如果没有电,一切都没了。忆阻器不需要电,不需要用电压、电流、充电来表示信息,它用电阻,电阻是一种性质,它不需要电才有这个性质,性质就已经在那里了,所以忆阻器是独特的,不是易变的。所以,商业目的的投资就来了。相变存储是一个这样的产品,Intel已经在出售;富士通,一家日本的公司,已经在出售内存ReRAM(Resistive random access memory),其实也是忆阻器。
因为忆阻器是一个概念,不是一个发明,是一个发现。发明和发现是很不一样的。
最简单的一个例子,是哥伦布发现了新大陆,不是发明了新大陆。发明是短暂的,因为会有新的设备出现,然后旧有的就会被替代。但如果不是哥伦布发现了新大陆,也总会有人发现的,因为它已经在那了。忆阻器是一个概念,是一种发现,能经受时间考验而不变的,我想这个是很根本的不同。这些设备都是进一步的证明,他们都是忆阻器,所有的都是基于电阻作为信息,这是最需要澄清的。
赛先生:请您谈一下忆阻器的研究,过去有哪些里程碑,还需要哪些问题需要克服?
Chua: 第一个忆阻器是在我1971年的论文中出现的,然后37年间,没有发生什么,我把它称之为37年的漫长冬天。 2008年,惠普的R. Stanley Williams领导的一个团队首次造出了一个真实的忆阻器。他是我的英雄,他复活了忆阻器,要不然还在沉睡当中。当惠普在《自然》杂志发表这个论文后,每个人都很兴奋,大量的资金投入,开始着手做。首先,这个文章在《自然》发表,很多人觉得很重要;第二,这个时候的忆阻器已经比较小了,17纳米。你知道病毒很小,显微镜下都看不到,但最小的病毒才25纳米,比病毒还小。上个月刚刚发表的工作,已经有2纳米的忆阻器。
赛先生:很多研究者喜欢追逐流行的、热的题目,他们相信要不出版,要不灭亡,现在有关AI的论文已经成千上万,您有怎样的建议?
Chua: 我想首先说的是,深度学习是真的,但发太多论文了。虽然有几个令人印象深刻的例子,比如阿尔法狗,还有诊断癌症,这些很重要,但这些并不是深刻的东西,仅仅是暴力求解,只要做的足够,就会给你一个答案,而且很昂贵。要明白为什么深度学习有效,也不是那么容易。
赛先生:我们最后聊一下您的女儿,她或许比您还有名,虎妈。对于如何教育子女,您是怎么看的?
Chua: 如果你想达成某件让大家印象深刻的成绩,想在众人中出类拔萃,你就必须努力工作,你不会凭白无故的就获得一些东西。如果你真的想特别杰出,你还得牺牲。
她的书不是写怎么培养聪明的孩子,而是写她自己的故事。她是耶鲁的法学教授,她不需要写一本那么技术性的书,她是在休假的时候,没什么事,就写了这个故事,她没说,你们必须学我,但因为故事是真的,所以就引起了关注。
她有两个女儿,都很努力,大女儿每天练习6个小时的钢琴,在很小的时候,就在卡耐基音乐厅表演钢琴,要在那个地方表演,那是职业人士或者天才去的地方。但她女儿不是天才,但因为努力练习,就和一个优秀的音乐家一样好,她就被邀请去进行表演。这表示,努力工作会产生好的结果。
当然,这引起了很多批评,因为美国人很自由,他们不想孩子工作太努力,但你不能两边占便宜(You can't have your cake and eat it)。开始有很多邮件攻击她,但慢慢的人们明白了,我女儿的原意也不是倡导逼迫,她在电视上也解释了自己的看法。现在很多人也转变了他们的看法。现在这两个女儿都上了哈佛。
赛先生
启蒙·探索·创造
如果你拥有一颗好奇心
如果你渴求知识
如果你相信世界是可以理解的
欢迎关注我们
投稿、授权等请联系
领取专属 10元无门槛券
私享最新 技术干货