AI画图实例：如何用Stable Diffusion创作游戏场景？

自打生成型AI技术一面世，游戏圈的无数双眼睛立刻就盯上了AI画图技术中所蕴含的无穷潜力。目前，各家大厂都在加紧对AI画图技术进行试验，试图快速将AI画图融入游戏开发管线之中。来自民间爱好者的努力也不容忽视。在各大技术论坛，如今随处都可找到来自爱好者和大神们分享的AI画图应用实例和教学。

GameLook近期浏览AI画图案例时，发现了一名开发者发表的两则技术博客。这位名叫Syn的开发者正在开发一款名为《Tales of Syn》的等距视角独立游戏，且一直在尝试将AI工具融入开发流程。在Syn的努力之下，他已经实现了利用Stable Diffusion生成的图像制作游戏的地图。

GameLook摘取了开发者Syn分享的两则技术案例进行了编译：

案例一：利用谷歌地图图像制作风格化游戏地图

第一个案例较为简单，主要展示了利用DreamBooth训练Stable Diffusion模型的方法。

Syn首先使用了一系列镜头预设，从谷歌地球的航拍图像中获取了一系列近似于等距视角的城市景观图片，并制作成8张分辨率512*512的图片文件。

随后，他利用Dreambooth和1.5版本的Stable Diffusion，在一张RTX 3090Ti显卡上进行训练。采用3000步和默认的1e-06参数进行学习。学习效果相当不错。尽管由于源文件分辨率的原因，图片的细节较为杂乱和模糊，但AI成功复现了等距视角和城市的景观。

随后，他利用WebUI Automatic1111，尝试对输入的文字prompt和权重比例进行调整，并输入了不同的风格指令，成功制作出不同艺术风格的等距视角图片文件。

案例二：从AI画图到地图关卡——完整工作流

相较案例一，案例二则更加复杂。Syn展示了多工具协同之下，从Stable Diffusion图片生成到最终伪3D关卡文件的开发全流程。Syn展示了最终的制作成果。尽管生成自2D图像，但最终结果已经颇有3D的神韵。

Syn利用下图所示的文字Prompt，输出了一系列赛博朋克未来风格的图片。

进入WebUI Automatic1111，利用按照不同的CFG Scale和步数进行了实验性生成。

将图片送入Photoshop进行编辑，并利用Stable Diffusion插件Alpaca对图片进行了拓展。

清理图片背景，使用img2img对图片进行两倍分辨率渲染，获得更多细节。

完整的图片文件分辨率为2048*2048，同样使用Alpaca插件进行分区生成并进行组合式合成。对于接缝处的图像需要进行多次解析才能取得比较顺滑的视觉效果。

Syn希望去除这张图片中的灯光，并利用自定义的Unity着色器进行灯光设置。为达到这一目的，他利用Boosting Monocular Depth的MiDaS和LeRes生成该图片的深度图。

利用Substance Designer工具的Height to Normal World Units节点生成普通映射图，再使用Normal Blend节点将普通映射图和深度图进行结合，最后使用Photoshop进行上色处理。

处理结果不算完美，但很接近一个3D场景该有的光照效果，并可在Unity中进行调整。

Syn尝试了Normal Mapping Shadows的手法，在2D场景中实现光照和阴影效果。最终的效果不算很理想，但Syn后续可能会将其进行进一步实验并使用在3D角色身上。