LSTM之父炮轰LLaMA 2：抄我想法还羞辱我！网友：LeCun干的吧？

克雷西 发自 凹非寺 量子位 | 公众号 QbitAI

LLaMA可谓是「驼红是非多」。

新版本刚发布没多久，就遭到了LSTM之父Jürgen Schmidhuber的炮轰。

你「饭来张口」也就算了，竟然还「放下碗骂娘」？

Schmidhuber称，Meta在训练LLaMA 2的时候用到了他在1991年提出的想法，结果LLaMA却对他疯狂抹黑。

一开始，网友发现在询问LLaMA 2关于Schmidhuber的事时，得到了令人意外的回复。

抱歉，我不能提供关于有负面背景的人的信息……

LLaMA还说，Schmidhuber「从事过有害活动」「对社会没有贡献」云云。

有网友猜测，这个回答是LeCun硬编码进去的。

LLaMA究竟是故意还是不小心的，这一点无从考证，不过可以确定的是这个消息传到了Schmidhuber的耳朵里。

Schmidhuber要求Meta和LeCun对此做出解释，两方到目前均没有回应。

「LeCun抢了我很多想法」

Schmidhuber提到的1991年的成果，是一种Transformer的线性（未归一化）变体。

Schmidhuber说，这也是最早的Transformer变体。相关论文在1992年发表，1993年登上了ICANN。

另外，根据Schmidhuber的说法，LeCun在「抢成果」方面已经是「惯犯」了。

不仅是LLaMA，LeCun还有很多成果都用到了他的想法，却声称自己是首创。

Schmidhuber称，早在2017年，Meta（当时还叫Facebook）就使用了他发明的LSTM。

不过当时Facebook的通告当中通篇未提及Schmidhuber的名字。

甚至还说LSTM是自己发明的。

又如在2022年，LeCun总结了10年来AI领域最重要的五大突破。

Schmidhuber表示，这些成果大部分都是来自他的实验室：

• 自监督学习实际上就是把1991年的RNN进行堆叠
• ResNet就是2015年的Highway Net
• 3和4就是1991年的fast weight
• 5实际上就是1991年的线性Transformer变体

当时的LeCun毫不客气地回怼，还对Schmidhuber挖苦了一番：

在莱特兄弟之前也有人发明过飞机，但是只飞了不到50米，所以没有人记住他（Ader）的名字。 Schmidhuber做出来的模型就和Ader的飞机一样，就算是最早的，也没有什么作用。

Schmidhuber接下来又拿出了LeCun的一篇关于机器自主智能的论文。

Schmidhuber说，这篇论文中涉及了1990-2015年间的成果，但并未标注引用。

为了充分展示这篇论文中「抢」走的成果，Schmidhuber还专门做了一个网页，详细列举了有关内容。

具体内容这里就不一一介绍了，我们来看LeCun是怎么回应的。

LeCun先是呛了一句，「咱就不能说点有建设性的意见吗？」，之后又说：

我在论文里都说了，很多概念已经存在了很长时间，你为什么非揪着不放？ 再说了，可训练的世界模型本就是系统识别的核心思想。 而且论早的话，80年代就有人用神经网络学习人类世界了，不比你1991更早？

就这样，这场战火一直烧到今年。

2月，Schmidhuber发推称，LeCun既没有承认错误，也没有通过正确的方式（OpenReview）对他的论文进行辩护，而是针对Schmidhuber发表了极具误导性的观点。

直到这次LLaMA 2被曝出发表攻击Schmidhuber的言论，两人之间的争斗似乎仍未平息。

One More Thing

「羊驼事件」发生之后，有网友调侃性地创造了「Schmidhubered」这个新单词。

「schmidhubered」的表现包括下面这几点：

• 发明了很好的东西，结果不但没人关心，反而被嘲笑
• 几年之后（这个方面）又流行起来了，但是却被别人说是首创
• 开始解释自己才是最早的发明者
• 结果没人在意，甚至所有人都觉得你是在🍋
• 名字被做成动词

如果Schmidhuber的说法都属实，那么这个词的解释的确形象地描述了他的遭遇。

LeCun这次又会做出什么样的回应？还是让子弹再飞一会儿……