新V观海外：AI数据投毒工具终于登场

陈沛/文 最近美国芝加哥大学研究团队的AI数据投毒工具Nightshade正式发布了，据称上线后短短5天内下载量就突破了25万，受欢迎程度远远超过了研究团队的预期。

几个月前，这个团队宣布要推出Nightshade时我就关注过，因为它与常见的给AI生成内容添加水印或者标识的思路不同。

Nightshade能够支持艺术家上传自己的原创画作，然后在画作中嵌入有毒数据，这些数据会被机器学习算法识别成错误的信息，例如一辆车有四条腿。因此，如果AI公司未经艺术家许可，使用了几十幅这样的图像来训练AI图像生成系统，就相当于被投毒了，这个系统的输出正确性就会急剧下降。

可以看出，由于艺术家对于艺术作品被随意用于AI训练的强烈不满，随着Nightshade的出现，艺术家捡起了AI数据投毒工具，开始转守为攻。

这样一来，AI的发展肯定会出现一些的新的变化。

AI开发者肯定要在数据清洗和安全验证方面增加工作量，AI模型开发的成本和复杂度会进一步提高。在AI应用运营的过程中，也会持续引入数据验证的技术环节来识别和过滤投毒数据，保证AI模型运行的可靠性。

这可能会推动AI行业向更加尊重版权、更透明的获取训练数据的方向转变。与此同时，也可能会有出现相关的发展倡议和行动指南，要求AI技术的健康发展不能对个人的基本权益造成潜在影响。

AI数据投毒工具Nightshade的出现是一个重要事件。它不光反映出了AI发展与版权保护之间的紧张关系，更标志着我们即将迎来AI带来的第2类风险。

站在行业观察的角度，我认为AI发展带来的风险主要分为3类。第1类是AI被用于各类恶意用途之中，例如伪造、虚假宣传、欺诈、网络攻击等；第2类是在各种对抗攻防中演变出的AI利用风险；第3类则是AI发展速度过快超过人类预期的风险。

其中，第1类是已知风险，在AI出现前就已经存在，只不过AI的应用提升了这类风险的危害性。今天正在推进的各类AI风险防范要求，也多聚焦于此。

第2类和第3类则是未知风险。就算进行细致的研究和推演，也很难知道这些风险的全貌。例如在Nightshade出现之前，业界在沿用AI生成内容水印的发展思路，但是出现了这样一个能投毒的对抗工具，或许就会成为内容保护的主要工具。这种对抗带来的风险，在之前的风险分析中并不容易被考虑到。

除了Nightshade，最近Anthropic也有关于AI模型训练过程中嵌入后门的研究成果出来，预计我们还会看到越来越多的AI对抗攻防风险浮出水面。

最后，关于AI发展速度过快超过人类预期的风险，Hinton还有Sutskever这些走在AI前沿的研究学者都有过论述，它的内涵已经上升到价值观和发展观的层面了，不是在一篇或两篇文章中能讲的了。不过，我仍维持在前面文章中的基本判断，AI的发展会越来越快，它带来的变化、机遇、风险、挑战都会比现在预想的更大。