计算机学术界烂了？Littman在CACM发文痛斥学术欺诈：手段太多，不点名了！

新智元

发布于 2023-05-22 08:25:29

2690

文章被收录于专栏：新智元新智元

新智元报道

来源：reddit

编辑：LRS

【新智元导读】你是否遇到过论文无法复现，烂论文发表到顶会上？也许他们都走了后门发表论文，也就是和审稿人串通绕过盲审机制。Littman在CACM在发表一篇文章痛斥这种学术现象，引发网友热议。

会议论文的录用竟然能内定？

审稿人是你朋友？

大规模调参，用最好的结果对比基线来发论文？

具有学术道德应当是发表论文的基础，近日，计算机科学家Michael L. Littman在Communications of ACM上发表了一篇文章，揭露了计算机科学界广泛的学术欺诈，引起了轩然大波！

Michael L. Littman是计算机科学家。他主要从事强化学习，但在机器学习，博弈论，计算机网络，部分可观察的马尔可夫决策过程求解，类比问题的计算机求解等领域都做过工作。他目前是布朗大学的计算机科学教授。

论文主要内容

计算机科学学科历来能够有效地利用同行评议的会议出版物作为传播及时和有影响力的研究成果的重要机制。

但最近会议论文试图玩弄这一审查制度，可能损害我们有效分享研究的能力。

我想提醒社区注意一个日益严重的问题，这个问题打击了审查过程所依赖的基本假设。我希望揭露一个不道德的个人群体的行为将鼓励其他人施加社会压力，这将有助于使相互作用者趋于一致，邀请更广泛的人参与解决问题，并提供一些鼓励的人陷入更高级的研究人员共谋解救自己，使共同事业与社会的其他人。我写这个观点的动机是因为我意识到在计算机架构界有一个例子，一个初级研究员可能自杀了，而不是继续参与可能的勾结。

共谋环(Collusion rings)涉及的领域远远不止计算机体系结构。一个具体的数据，来自人工智能和机器学习领域，一些细节(如具体会议的身份)不会暴露出来，因为我认为点名弊大于利。由于我的目标是提高人们对这个问题的认识，帮助人们了解这个问题有多么普遍，我不认为这些细节是必要的。

首先让我提醒大家一下审查过程中的几个重要特征。我所描述的并不是任何具体会议所使用的，但它与我参与组织的三四次大型会议非常吻合。

1.同行评议过程由一个项目委员会执行，该委员会由一两名项目主席、数百名区域主席和大约5,000名评议员组成。评审人员被要求申报利益冲突，这样他们就不会被指派去评审那些会损害他们不公正性的论文

2.作者提交的论文，他们的姓名要被隐去参与审查(blind)。一个值得注意的会议去年收到了1万份意见书，而6年前的历史最高水平只有1000份。

3.审稿人根据论文标题/摘要对提交的论文进行“竞标”，以表明他们有资格审稿

4.评审人员是由项目主持人指定的论文，他们试图尊重他们的投标，同时避免公开的利益冲突

5.评论员阅读指定的论文并提交评论。他们彼此分享他们的评论，并试图就每篇论文达成共识的建议(接受/拒绝) ，这些论文是区域主席和项目主席用来构建会议的技术计划的

总的来说，风险很高，因为接受率很低(15%-25%) ，在任何特定的会议上发表文章的机会被限制在一年一次，出版物在建立研究人员的声誉和最终的专业成功中扮演着中心角色。学术职位的竞争非常激烈，因此每次论文被拒，尤其是对研究生来说，都会对未来的就业前景产生真正的影响。一些国家将晋升和薪水的决定与在一组特定的高知名度会议(和期刊)上接受的论文数量联系起来。

考虑到这个过程的强度，研究人员非常努力地让自己做到最好。在会议截止日期之前的一两周里，研究人员忽视了其他职责，电脑处于最佳运行状态，睡眠时间极少，这让他们倍感压力。即便如此，努力工作似乎也不足以保证成功ー众所周知，审查过程是随机的。在2014年一个广为人知的案例中，神经信息处理系统会议的组织者成立了两个独立的项目委员会，两个委员会审查了10% 的提交材料。结果是，几乎60% 的论文被一个项目委员会接受，但被另一个项目委员会拒绝，这表明许多论文的命运取决于挑选的审稿人的具体情况，而不仅仅是工作本身的内在价值。

作为回应，一些作者已经采取了与论文质量无关的干预措施，以增加他们的论文被接受的几率。也就是说，他们在作弊。

下面是我所知道的一种作弊方式: 共谋环（collusion ring）。虽然这个特殊案例的细节没有公开披露，但是发现并记录这种行为的项目负责人花了无数个小时进行分析。问题很复杂，但我没有理由怀疑他们的结论。以下是共谋环的工作原理:

1.相互之间共享彼此论文的标题，这违反了盲审的原则，并造成了重大的未披露的利益冲突

2.相互勾结的人隐藏利益冲突，然后投标审查这些文件，有时从复制帐户，试图被分配到这些论文作为审查员

3.相互勾结的人写非常积极的评论这些文件，也许甚至游说领域的主席通过回渠道外的其他评论家的看法

4.同谋者有时会向不同谋者发送威胁性的电子邮件信息，如果同谋者发现他们的名字并相信不同谋者会受到影响

5.在讨论过程中，一些串通的审稿人会临时更改他们在线会议管理系统上的名字，也许是为了避免得到支持弱论文的名声

这种攻击的结果，如果没有被发现和成功的话，就是一些作者因为非常不道德的行为而得到了纸质的奖励。鉴于许多会议由于可在会议上提交的文件数量有限而不得不限制可接受的文件数量，这意味着其他值得提交的文件被拒绝以腾出空间。结果，会议的质量，甚至可能更重要的是，整体的完整性都受到了影响。

研究团体必须对串通行为做出强有力的回应，向行为不端的作者和评论者发出明确的信息: 他们的行为是不可接受的。然而，除了明确的信息之外，还不清楚应该采取什么干预措施来抑制共谋。会议组织者在幕后正在权衡数十个提案，所有这些都有潜在的陷阱。更好的纸张分配技术将有助于堵住一个正在被利用的漏洞。但是，如果没有更好的调查工具，我们可能永远无法追究那些同谋者的责任。

科学研究是一项深度合作的事业。研究人员争夺注意力和资金来源，但也建立在他们的竞争对手的想法之上。大多数研究人员将他们的工作视为对更深层次理解的探索，而不仅仅是一种支付账单的方式。目前，同行评审过程主要由诚实的参与者组成。但是，一旦不道德的行为足够普遍，继续参与发现社区的动机就消失了。作弊者冒着摧毁他们赖以取得职业成功的体系的风险。现在是时候密切关注同行评议的过程，并调整激励机制，以便每个人都能尽可能地分享最好的研究成果。

Buckman的评论：学术欺骗请再大胆一些！

Jacob Buckman是蒙特利尔学习算法研究所（MILA, Montreal Institute for Learning Algorithm）的一名博士生，2017年在卡内基梅隆大学取得学士学位，曾在NIPS等顶会发表多篇论文。

Buckman在自己的网站上发表了一篇博客，表示自己做的经常都是。

明显的学术欺诈是我们社区大多数学者经常犯的那种世俗的、日常的欺诈行为的自然延伸。在几十个种子上试验这个闪亮的新算法，然后只报告最好的几个。

对提出的方法运行一个大的超参数扫描，但是使用默认的基线。挑选模型看起来不错的例子，或者挑选整个数据集进行测试，确认模型的优势。