给张图就能反推Prompt，AI绘画神器Midjourney能够「看图说话」了

机器之心

发布于 2023-04-06 10:45:22

1.8K0

文章被收录于专栏：机器之心机器之心

机器之心报道

编辑：蛋酱

AI 反推出来的 prompt，会比人类手写的更好吗？

在各种 AIGC 产品层出不穷的今天，让 AI 画一张图已经不是什么难事。

尽管有着「无需动笔」、「零门槛作画」等一系列优点，但很多人并不能借助 AI 之手轻松获得一幅理想中的作品 —— 难点在于「prompt」。

Prompt 方法是一门极深的管理学问：如果不输入精准的命令描述，生成结果就可能十分随机，甚至与预期相去甚远。但归根结底，如何给出完美的 prompt，如何让模型按照人类用户预设的方式输出结果，甚至如何降低花在 prompt 上的成本，很少有人清楚。

正因此，AIGC 产业衍生出了一种专门的职业 ——prompt 工程师。前段时间，初创公司 Anthropic 在旧金山招聘「prompt 工程师和图书馆员」，给出的薪水高达 33.5 万美元。

或许，这一过程也能让 AI 代劳呢？AI 会做的比人类更好吗？

最近，AI 绘画神器 Midjourney 就上新了一个功能：/describe。

「今天，我们发布了一个 /describe 命令，可让您将图像转换为文字。」

具体来说，Midjourney 学会了从图像中反推 prompt。如果你在 Midjourney 上传一张图片，它会提供给四个版本的描述，你可以直接拿来并进行调整，然后去生成自己想要的图片变体。

Midjourney 是一款 2022 年 3 月发布的 AI 绘画工具，此前刚刚推出第五代版本，由于生成效果十分「炸裂，大量用户迅速涌入，以至于该公司不得不关闭了免费注册通道。

这一次功能的更新意义重大：

改进可访问性：通过用于 Web 显示的 ALT 文本元素，图像描述让有视觉障碍或阅读困难的人更容易访问数字内容；
增强的可搜索性：描述可以通过搜索引擎启用更好的搜索功能和索引；
用于标题：可以包含描述，使图像更加清晰；
详细 prompt：描述可用于创建更详细的 prompt 以制作新变体，可以为快速工程提供灵感。

怎么使用？

用户只需从写一个「 /describe」开始，Midjourney 提供了上传图像的位置：

上传图片后，点击进入：

然后，Midjourney 根据图像返回四个描述：

底部的四个数字是混合按钮，每个数字都与相应的描述相匹配。单击数字，Midjourney 会根据新的描述重新混合图像。

你也可以混合修改 prompt：

这是创建示例图像的原始 prompt：

an illustration of a brain with tree roots, psychedelic art, vibrant, by Alex Grey, by Amanda Sage, by Robert Venosa, neon colors（一幅有树根的大脑图像，迷幻艺术，充满活力，作者 Alex Grey，作者 Amanda Sage，作者 Robert Venosa，霓虹颜色）

这是 Midjourney 描述的 prompt 之一，被用于混合：

An image of an abstract brain tree with roots, in the style of mark henson, luminous colors, dark symbolism, detailed anatomy, bold lines, vibrant color, psychological phenomena illustrations, chiaroscuro woodcuts（一幅有树根的抽象大脑树图像，马克・亨森的风格，明亮的色彩，黑暗的象征主义，详细的解剖学，大胆的线条，鲜艳的色彩，心理现象的插图，千鸟格的木刻）

新的生成结果如下：

试用体验

该功能一经发布，就吸引了各位 AI 绘画爱好者的注意，很多人立马就上手开始创作了。

以下是通过一张 NASA 登月任务宇航员照片生成的新图片（右），的确以假乱真：

下图（左）为原图，（右）为 /describe 之后生成的新结果：

还有人想到，可以用 /describe 来进行品牌 logo 的升级。如此一来，既可以延续此前的品牌辨识度，又带来了全新的形象。

星巴克的「新 logo」毫无违和感。

苹果公司的经典标志，也可以是五彩缤纷的：

这是阿迪达斯：

百事公司可以考虑以下这款新设计：

不管是「文生图」还是「图生文」，随着用户交互的增加，MidJourney 的效果必然会有所提升。有研究者猜测，MidJourney 一直在进行大规模的人类反馈强化学习（RLHF），而这可能是有史以来规模最大的文字转图像。拥有的用户越多，MidJourney 能做的 RLHF 就越好，然后获得的用户会变得更多。