最强假新闻生成器GPT-2终于开源完整版本，15亿参数模型全部公开

时隔九个月，GPT-2的阶段性开放终于进入尾声。北京时间11月6日，OpenAI正式放出GPT-2最后一个部分的完整代码——包含15亿参数的最大版本。 按照OpenAI方面的说法：公开完整版本确实与模型滥用的调查结果有关。虽然经过多方求证发现，GPT-2存在被极端组织恶意使用的可能，但是目前没有证据直接证明GPT-2已经遭到了滥用。

“最强NLP模型”GPT-2完整开源

经历了被追捧为“最强NLP模型”、因为不开源遭到全网吐槽、宣布部分开源等一系列大事件之后，今天，OpenAI终于公开了GPT-2最大最完整的15亿参数版本。

照例先放上开源地址：https://github.com/openai/gpt-2

在此之前，OpenAI 已经发布了三种 GPT-2 模型：“小型的”1.24 亿参数模型（有 500MB 在磁盘上 ），“中型的”3.55 亿参数模型（有 1.5GB 在磁盘上 ），以及 7.74 亿参数模型（有 3GB 在磁盘上 ）。

作为GPT-2分段发布中的最后一轮，此次公开的完整GPT-2包含15亿条参数，其中包含用于检测GPT-2模型输出的全部代码及模型权重。OpenAI在官方博客上表示：

自今年8月以来，我们一直遵循初始分段发布计划，通过越来越大的语言模型帮助社区获取准确度更高的可测试案例。我们希望这一测试案例能够帮助开发人员构建起功能更强大的后续模型，同时也积极与AI社区就发布责任问题开展对话。

除此之外，OpenAI还公布了有关GPT-2的一些新发现，其中包含了公众最为关心的滥用等问题。

有关GPT-2的新发现

1. 人们发现GPT-2的输出质量令人信服。

作为合作伙伴，康奈尔大学的研究人员对GPT-2使用受众进行了调查，希望根据不同规模的模型版本为GPT-2生成文本进行质量评分。人们给1.5B模型给出的“可信度得分”为6.91分（满分10分），略高于此前的774M模型版本（6.72分），同时大大高于更早的335M模型版本（6.07分）。正因为评分逐步提升，OpenAI才决定发布最终的1.5B模型，将完整的GPT-2展现在公众面前。

1. GPT-2经过微调后可能被滥用。

作为合作伙伴，米德尔伯里国际研究中心下辖的恐怖主义、极端主义与反恐中心（CTEC）研究人员们发现，极端主义团队可对GPT-2进行滥用，特别是结合四种意识形态立场对模型做出微调，分别为：白人至上主义、马克思主义、圣战伊斯兰主义以及无政府主义。

CTEC的研究结果显示，微调后的模型足以为这些意识形态快速生成综合性宣传素材。他们还证明，尽管合成输出结果相当具有迷惑性，但基于ML的检测方法仍可帮助专家分辨出由GPT-2生成的伪造消息。

1. 检测难度颇高。

OpenAI认为，对基于内容的合成文本进行检测将是一项长期挑战。为了测试机器学习方法是否有助于解决这个难题，研究者进行了内部检测研究，并开发出一种检测模型。面对由GPT-2 1.5B生成的文本，这套模型能够带来95%的检测成功率。（注1）

具体来讲，OpenAI选择立足RoBERTaBASSE（1.25亿条参数）与RoBERTaLARGE（3.55亿条参数）建立起序列分类器，并通过微调使其获得对GPT-2 1.5B模型与WebText（用于训练GPT-2模型的数据集）输出结果的分类能力。

OpenAI认为，对于单项检测而言，这样的准确率还无法令人满足，必须同时结合基于元数据的方法、人为判断以及常识教育才能进一步提高效果。为此，OpenAI选择发布完整版模型，希望协助各方共同研究对合成文本的检测方法。当然，OpenAI方面也承认全面发布同时也会让恶意人士有机会进一步提高检测逃避能力。

此外，OpenAI发现，检测准确率在很大程度上取决于训练及测试中使用的具体采样方法，但同时，在使用多种采样技术进行训练时，检测结果将更加可靠。如下图所示，规模越大的模型，其输出结果越是难以分类。但是，利用这部分输出进行训练，则可提升检测结果的准确率与可靠性。OpenAI预计这种趋势将长期存在，随着模型规模的增大，检测难度也将同步提升。

各模型版本检测准确率（核样本）

1. 到目前为止，尚未发现明确的滥用迹象。

尽管OpenAI的研究人员已经围绕GPT-2在大规模生成垃圾邮件与网络钓鱼信息等高批量/低收益操作方面的潜力进行了讨论，但截至目前并未发现任何明确的代码、文档或者其他滥用实证。他们认为，随着合成许可证生成器在输出质量上的持续提升，遭到滥用的可能性确实会同步提高，同时也承认，OpenAI无法及时发现所有潜在威胁，而有动机的参与者也不太可能发布自己的微调语言模型。

1. 在偏见研究方面，需要建立标准。

语言模型永远存在偏见。对于AI研究界而言，为此类偏见制定出研究方法、开展讨论并加以解决已经成为一项重要但难以克服的挑战。OpenAI通过以下两种方式尝试解决偏见难题：

• 发布模型卡（注2） 这一模型卡以Mitchell等人提出的“用于模型报告的模型卡”理论为基础。 我们同时在GitHub上发布模型代码，希望帮助大家对语言模型（例如GPT-2）存在的固有问题建立理解。
• 对GPT-2中存在的某些偏见做出内部定性评估：我们利用评估结果通过模型卡对GPT-2在性别、种族以及宗教方面的偏见作出探究。当然，这些调查并不全面，还需要配合其他偏见分析框架。

下一步计划

OpenAI在博客中表示：

过去九个月以来，我们在GPT-2开发方面的经验，帮助我们为AI模型负责任发布工作中存在的挑战与机遇建立起宝贵的见解。我们也参与到Partnership on AI的“机器学习负责任发布规范”项目当中，希望通过合作关系与研究界的同行们共同讨论，为解决模型发布问题贡献力量。

讨论仍在继续：GPT-2好用吗？安全吗？

HackerNews网站上，有关GPT-2的讨论一直没有停止。在15亿参数版本发布后，更多参与者加入了话题讨论 中。

目前的讨论者分为两个主要阵营：

尝鲜派：GPT-2好用吗？在哪儿用？

这一类讨论者主要在研究GPT-2的实用性，一些开发者也附上了自己的做的测试模型，感兴趣的读者可以前去体验：

http://textsynth.org/

https://talktotransformer.com/

当然也有一些讨论者提出：GPT-2开放代码的可读性较差，有不少意义不明的内容，在生成文本的时候，甚至会出现一些常识性的错误等等。这些问题让部分讨论者质疑OpenAI放出的有可能是微调过的“阉割版”。

激辩派：GPT-2安全吗？

这一派讨论者主要将目光聚焦在GPT-2的安全性上。毕竟官方也已经承认：确实存在安全隐患。大部分讨论者的观点都认为：GPT-2完全开放后，必然会引发一阵滥用风潮。其中不乏一些激进人士的观点。

AI前线早先发布的一篇文章中，作者曾对GPT-2的威胁论进行过探究，他认为GPT-2被滥用的可能性遭到了过分夸张。当然，作者当时测试用的也并非是完整版本，不知道在使用过完整版一段时间后，他的看法会不会有所改变。

注释

1. 具体来讲，OpenAI立足RoBERTaBASSE（1.25亿条参数）与RoBERTaLARGE（3.55亿条参数）建立起序列分类器，并通过微调使其获得对GPT-2 1.5B模型与WebText（用于训练GPT-2模型的数据集）输出结果的分类能力。
2. 这一模型卡以Mitchell等人提出的“用于模型报告的模型卡”理论为基础。