【玩转GPU】控制Stable Diffusion的光效

背景

光在图像中扮演着不可或缺的角色，对于图像的整体品质和情感表达起着至关重要的作用。通过巧妙运用各种光线，我们能够突出主体，创造出深度和层次感，以及传递深情厚意，更好地凸显关键细节。

我会做一个系列文章来分享如何控制光效的方法，让您的AIGC图像作品更具感染力。

前提

已经安装好stable-diffusion-webui 。

已经安装 ChilloutMix 或 Deliberate checkpoint。ChilloutMix适合中日韩人像风格，Deliberate适合欧美人像风格。其他checkpoint也行，效果好即可。

已经安装ControlNet

本文在腾讯云CVM云服务器，CentOS最新操作系统上实现。具体安装stable-diffusion-webui和controlnet可以参考我之前的文章。

安装ioclab/control_v1p_sd15_brightness

进入 ioclab/control_v1p_sd15_brightness 首页。进入Files and versions页，下载 diffusion_pytorch_model.safetensors 。放入stable-diffusion-webui目录下的extensions/sd-webui-controlnet/models目录下。

下载 config.json，放入stable-diffusion-webui目录下的extensions/sd-webui-controlnet/models目录下。

以上两个文件都重命名为一致的文件名。

生成光效相对可控的图像

• 1. 进入stable-diffusion-webui主页，进入txt2img，先生成一张图像。 例如：

8k portrait of beautiful young woman face half submerged in a misty lake, intricate, elegant, highly detailed, majestic, digital photography, art by artgerm ruan jia and greg rutkowski surreal wet paint gold ribbons with filigree, broken glass
Negative prompt: [freckle lowres, cropped, watermark, jpeg artifacts, low quality, normal quality, bad anatomy, text error, worst quality] [amateur, multiple, gross, weird uneven] [royalty royals] [sex] [furnishing decorating decoration furniture] [pizza] [sign meme label text watermark signature frame] [simpsons] [nude thousand hand dance kaleidoscope]
Steps: 31, Sampler: Euler a, CFG scale: 7, Seed: 1985107411, Size: 768x512, Model hash: 92970aa785, Model: dreamlike-photoreal-2.0, Version: v1.3.2

上述提示词生成的效果图

对于光线效果，希望有进一步提升，进入下一步控制光效。

• 1. 将上述效果图send img2img，将img2img的图片选择下面的黑白光影图中的一张（其他黑白光影图也成），打开controlnet，选择depth，将txt2img的原图放入controlnet中的Single Image，按下图中的参数填写，点击生成。
     

我们再换一些黑白光效图试试，除换图外，其他的不变。

总结

本篇的办法只适用于txt2img的图像且生成提示词全都知道的场景。否则img2img生成的图可能和原图差异很大。通过黑白的光源图片，确实可以有效控制生成图的光影效果。但对于场景而言，人物和背景都有可能发生改变。