Stable Diffusion ControlNet 语义分割到底是干什么用的

“

这是一套 0 基础入门的AI绘画系列课程，不需要任何基础！涉及全面：环境搭建、基础篇、进阶篇、应用篇、模型篇以及行业解决方案篇

课程制作不易，爱学习的你一定不要忘了订阅关注哦~~

今天我们继续讲解 ControlNet 中一个比较有意思的模型 —— Segmentation语义分割。这在风景类的图片中应用非常多。

一 语义分割

语义分割 用于将图片中物体进行用不同的颜色进行标记,比如：天是蓝色，树是绿色，墙是灰色。通过语义分割后可以得到由各种颜色标记的图

每种颜色块代表着不同的物体，可以在公众号后台回复语义分割获取全量语义分割颜色信息

得到语义分割特征图之后，则可以再次通过语义分割模型识别颜色渲染出新的风格的图。

甚至我们可以直接编辑或上传语义分割特征图来控制我们出图的物体。

接下来我们直接上案例

原图

语义特征图提取

步骤：

上传原图

启用，并打开  预览

选择预处理器，模型可以先不用选。提取特征图只需要选 预处理器即可

点击预处理和模型中间的 图标进行特征提取

语义特征图对比

语义分割预处理有三种，ufade20k、ofade20k 和 ofcoco ，前两种使用的是 ADE20K 颜色数据集， ofcoco 使用的是 COCO 颜色数据集。

一般我们选用前两种（uf 和 of）即可，对应的颜色数据集可以在公众号后台回复 语义分割 获取。这俩的区别只是在于提取到的细节特征 ofade20k 会更明显一些，但是对最终的效果影响并不大。

二 特征图提取后出图

ControlNet 提取后出图

直接基于上面的三个特征图看看出图效果比较

为了保证出图的效果尽可能的减少非 特征图的影响。我们把参数和种子都设置成一样的。最后可以得到下图效果

参数设置

不同的预处理器出图效果

我们单看  ufade20k、ofade20k，正如前面说的 ofade20k 能够提取到更多的细节，最后出图的物体和原图也能高度一致。

三 上传语义特征图控制出图物体

既然是通过语义分割特征图进行渲染出图，那么我们就可以修改语义分割特征图，从而更好的控制出图的物体。

举个例子：在上面给的原图中，不希望有中间的沙发，茶几也不要了，都替换成地毯。

修改语义分割特征图

可以通过图片编辑工具将原特征图编辑成右图。替换茶几和沙发。再次出图

接着我们继续将修改后的特征图放入出图，中间的沙发和茶几就会变成地毯了。

如果你觉得课程还不错，别忘了把好内容分享给身边的小伙伴哦