“
这是一套 0 基础入门的AI绘画系列课程,不需要任何基础!涉及全面:环境搭建、基础篇、进阶篇、应用篇、模型篇以及行业解决方案篇
课程制作不易,爱学习的你一定不要忘了订阅关注哦~~
经过前面的学习,我们知道 ControlNet 分为了 预处理器和模型。使用 ControlNet 的过程就是使用 预处理器 对原图进行 特征提取,然后基于选择的 ControlNet 模型结合提示词渲染新图。
这一节大A会分享 4种深度预处理器 和 深度模型 的使用。
一 Stable Diffusion Depth 深度约束
如果你了解三维动画的一些知识,那你肯定知道深度图,图像当中只有黑白二色,图片颜色越浅的区域,代表距离镜头越近;图片越是偏黑色,则代表这部分区域距离镜头越远。
而 处理器&模型的主要功能是捕捉画面的深度,获取图片前后景关系。并且根据深度关系渲染新的图。
也就是说,当我们需要某张图的 深度图 时,我们可以直接一键导入 Stable Diffusion 直接提取特征即可。
二 4种深度预处理器
我们在提取深度特征的时候由于提取的程度和细节的需求不一致,所以出现了不同的预处理器,下面四种预处理器我们按照细节提取程度从小到大列举
Depth Midas:经典的深度预处理器。也是官方默认的预处理器
Zoe:提取的细节介于 Midas 和 Leres 之间
Depth Leres:更多细节,也倾向于渲染背景
Depth Leres ++
我们直接上对比图
原图
特征图提取
提取方式和参数介绍我们可以参考之前的课程
步骤:
上传原图
启用,并打开 预览
选择预处理器,模型可以先不用选。提取特征图只需要选 预处理器即可
点击预处理和模型中间的 图标进行特征提取
最后我们可以得到4种特征图的效果图
如果你不需要过多的 前后景 关系,直接选择 即可,如果需要保留非常多的后景细节和深度关系,那么毫无疑问,选择 。
三 特征图提取后出图
ControlNet 提取后出图
直接基于上面的四个特征图看看出图效果比较
为了保证出图的效果尽可能的减少非 特征图的影响。我们把参数和种子都设置成一样的。最后可以得到下图效果
参数设置
ControlNet 设置
不同的预处理器出图效果
可见,虽然 提取到的细节最为丰富,但是也在一定程度上影响了后景的渲染,和原图的差异比较大。但对于前景图,每个预处理器的特征得到的新图效果都非常好。
直接上传深度特征图出图
如果我们已经有了一张深度图,希望根据提供的提示词渲染出一张新的具备相同深度关系的新图,那就可以直接使用 模型,不需要使用预处理器;
找一个深度图:
设置合适的提示词和参数:
出图效果:
可以看到最终的 深度关系 和深度关系特征图是一样的。
ControlNet 深度约束的作用 其实就是保证我们渲染出的新图和原图的前后影关系完全一致。
通过深度特征提取之后,Depth 将会严格根据生成的深度图图去生成图像,无论是室内还是室外,都将会在与原图前后景位置信息差不多的地方生成相关物体。
领取专属 10元无门槛券
私享最新 技术干货