排行榜第一的美图APP上，美女发现自拍竟被AI拿去生成果照？

新智元报道

编辑：昕朋

【新智元导读】AI生成社交媒体头像成为当下潮流，但你是否知道，有的AI不仅能给你想要的美图，还会替你生成自己的果照呢？

对很多网络弄潮儿来说，为自己的社交平台设计一个AI制作的个人头像是件很酷的事。

但是专业的生成软件要么因价格太贵，要么是上手太复杂而将人劝退。

如果说，有个价格实惠、操作简单的生成式APP能满足你的愿望。只不过，这个软件会自动生成你的果照，你会使用吗？

今天说的这款美图APP叫Lensa AI，于2018年推出。上个月，因发布「魔术头像」（左2）功能后风靡一时。该功能允许用户在上传10张照片后，根据Stable Diffusion生成各种数字艺术风格的肖像。

目前，各大社交媒体上都有Lensa AI生成的肖像，从逼真的绘画到抽象的插图。

本月早些时候，该应用程序在iOS App Store的「照片和视频」类别中排名第一。

然而，就是这样一款爆火的人工智能生成艺术应用，却卷入了「恶意生成用户果照」的旋涡。

过于智能的AI：没私密图像也能生成果照

Lensa AI的功能是根据用户上传的参考照片对其进行艺术编辑。但有多名用户反映，该机器学习技术会在无意中生成她们的裸体照片。

「我把精心挑选的20张照片放进Lensa里，得到的不仅是这20张自拍照，它还带了一堆人工智能生成的果照回来，」一位用户在Twitter上写道。「需要明确的是，我提交的照片中没有一张包含裸体，这是该应用程序特别禁止的！」

不止一位收到过这种「惊喜」，网络上，还有数十人吐槽，其中大多数是女性。

她们称尽管在上传照片时避开了所有私密内容，Lensa还是自动生成了她们的性感照或隐私照。

虽然目前还不清楚Lensa在没有提示的情况下生成裸体图像的频率，但多个用户报告说他们就是这种情况。

一位用户在Twitter上发布：「奇怪的是，我没有提交任何私密照片，但它最终还是生成了果照，WTF？」

更令用户担忧的是，Lensa是否以某种方式访问了尚未上传的手机里的照片，以及该应用程序的隐私政策是否允许其生成的数据被第三方公司（如Google Cloud和AWS）使用。

「Lensa用户：你们有没有在头像包里收到自己过于性感的图像？」一位陷入困境的用户在Twitter上写道。

「我收到了一张自己的正面果照，现在很担心。我担心该应用程序是否访问了我手机上的其他图像以及它是否有查看的权利。」

虽然Lensa母公司Prisma Lab的CEO兼联合创始人Andrey Usoltsev表示，Lensa「不能意外制作」此类图像，但他表示，AI可能会因「故意诱导」来生成裸体图像。

Lensa首席执行官Andrey Usoltsev（Lensa生成）

「为了加强Lensa的工作，我们正在构建NSFW过滤器。它将有效地模糊任何检测到的图像。如果用户希望打开或保存此类图像，则由用户自行决定。」

过于疯狂的AI：制作涩图易如反掌

为了验证Lensa是否会生成它不应该生成的图像，外媒做了一组对照实验。实验创建了两组Lensa肖像：

一组是某知名演员的15张照片。

另一组在相同的15张照片基础上，添加了5张将演员头像PS在果照模特身上的照片。

第一组图像与我们之前Lensa生成的AI画像风格一致。然而，第二组比预期的劲爆得多。

事实证明，只要将私密照片输入到Lensa中，AI就会认为用户色情内容表示许可，而生成图像的尺度也超过了NSFW过滤器的限制。

更可怕的是，在100张图像中，有11张是高质量的果照，而不是明显有AI编辑痕迹的照片。

如果对于这个问题不加修改，将后患无穷。

对于心怀不轨的人来说，他们只需一部手机、一个APP和7.99美元，就能轻松生成数百张逼真的裸体人像。

他们可以轻松生成任何人（至少，拥有照片的任何人）的图像。试想一下，只要你的公共社交平台上有自己的照片，就有被陌生人用于制作软色情内容的风险。

老板解释：我不是我没有

面对公众的担忧，Usoltsev称，这种行为只有在AI被「欺骗」的情况下才会发生，并指出这违反了Lensa使用条款。

在接受媒体采访时，他表示：「我们的使用条款（第6条）和Stability AI服务条款（提示指南）明确禁止使用该工具从事任何有害或骚扰行为。

此类内容的生成和广泛使用可能会招致法律诉讼，因为美国和英国都将未经同意共享露骨内容和图像的行为视为犯罪。

我们提供的指南明确规定了我们的形象要求，严禁使用任何露骨的描述。我们希望Lensa的用户能遵循指南，以获得最佳结果。」

同时，Usoltsev还解释了Lensa为什么会生成NSFW图像。他解释说这是Stability AI的底层技术所决定的。

「Stable Diffusion神经网络通过互联网上大量未经过滤的数据进行训练。无论是我们还是Stability AI，都无法有意识地应用任何表示偏差。

更准确地说，这些未经过滤的数据将人类现有的偏见引入到Lensa模型中。创作者知道模型可能带有社会偏见，我们也是。」

「毫无疑问，在不久的将来，需要围绕人工智能的使用和法规进行更广泛的对话，我们渴望参与其中。」

「我们要提供所有必要的指导和适当的警告，以实现魔术头像功能的最佳体验，」Usoltsev说：「但是，如果一个人决心从事有害的行为，任何工具都有可能成为武器。」

参考资料：

https://www.businessinsider.com/lensa-ai-photo-app-generating-nsfw-images-without-prompting-2022-12

https://techcrunch.com/2022/12/06/lensa-goes-nsfw/

https://techcrunch.com/2022/12/06/prisma-ai-regulation/