美国大学团队找到检验论文是否由 AI 创作的新方法，准确率达 99％

IT之家 6 月 8 日消息，据日本《朝日新闻》报道，美国堪萨斯大学的研究团队近期发现了一种新的检验办法，可以准确判断一篇论文是否由 ChatGPT 创作，其准确率可达到 99%。

目前，用户只需要输入一组数据，并附言“请使用这些数据写一份学术论文”，ChatGPT 就能在几十秒内创作一篇可以假乱真的论文，这使得许多论文作者已经部分甚至全部使用 ChatGPT 来写论文。

不过，一些学术期刊和研究机构已经警告称，如果这些作者在提交时没有明确说明自己使用了 ChatGPT，则构成抄袭或其他欺诈行为。

出于这个原因，检测文章是否是由 AI 生成的相关工具研发已经取得了进展，但到目前为止，还没有专门用于学术论文的检测工具。

堪萨斯大学的研究团队则专注于从“段落复杂性”和“常用短语”着手，训练一个新的 AI 来检验一篇论文是否由 ChatGPT 生成。

报道称，研究团队在截至 2023 年 3 月的半年内，从美国学术期刊《科学》杂志上选取了 64 篇论文，并让 ChatGPT 为论文生成 300-400 个字左右的摘要，最终生成了 128 篇由 ChatGPT 创作的文章，并被用于训练这个新的检测 AI 模型。

经过训练，该模型可以从 AI 生成的文章中 100% 识别出人工创作的部分，对文本中特定段落的识别准确率为 92%，综合准确率达 99%。相关成果已经发布在了《Cell Reports Physical Science》杂志上。

研究团队发现，ChatGPT 很少使用“虽然…… 但是……（but、however、although）”这类表述。相反，它很喜欢使用“他人（others）、研究者（researchers）”等词语。

另一方面，人类更习惯将长句和短句交错使用，并且在句式上也与 ChatGPT 的惯用写法有所差异。

IT之家此前报道，美国得克萨斯农工大学的一位教授，曾通过向 ChatGPT 输入学生论文的方式来反向验证这些论文是否也是由 ChatGPT 生成，同样取得了不错的效果，直接导致半个班的学生挂科。