StableDiffusion ControlNet 涂鸦转换就是这么简单

“

这是一套 0 基础入门的AI绘画系列课程，不需要任何基础！涉及全面：环境搭建、基础篇、进阶篇、应用篇、模型篇以及行业解决方案篇

课程制作不易，爱学习的你一定不要忘了订阅关注哦~~

今天我们继续讲解 ControlNet 中的 Scribble（涂鸦） 模型，顾名思义，就是将图片转成涂鸦手稿，类似手画的草稿一样。

一 Scribbles 涂鸦处理器

目前 ControlNet 提供了三种 预处理器 来提取图片特征，分别是：

Scribble HED： Holistically-Nested Edge Detection[1](HED)是一个边缘检测器，擅长像真人一样生成轮廓。HED 适用于重新着色和重新设计图像。

Scribble Pidinet：Pixel Difference network[2](Pidinet) 用于检测曲线和直边。它的结果与HED 类似，但通常会产生更清晰的线条和更少的细节。

Scribble xdog：EXtended Difference of Gaussian[3](XDoG) 可用于边缘检测。可以通过调整 xDoG 阈值控制特征的细节

直接上图查看对比效果

原图

特征提取

步骤：

上传原图

启用，并打开 Allow Preview 预览

选择预处理器，模型可以先不用选。提取特征图只需要选 预处理器即可

点击预处理和模型中间的 图标进行特征提取

最后我们可以得到3种特征图的效果图

可见，默认情况下可以直接使用 HED 预处理器能得到一个比较粗糙的但包含细节的线条；使用 Pidinet 能够得到大致的轮廓且不包含细节。最后 xdong 则可以进行调整参数控制细节。

二 特征图提取后出图

ControlNet 提取后出图

直接基于上面的三个特征图看看出图效果比较

为了保证出图的效果尽可能的减少非 特征图的影响。我们把参数和种子都设置成一样的。最后可以得到下图效果

参数设置

模型：cetusMix_v4

正向提示词：(masterpiece:1,2), best quality, best detail, ,

an oil painting of a feminine person in a field, standing near tall grass, 1girl, hat, solo, long hair

反向提示词：((nsfw)),blush,extra fingers,fewer fingers,(low quality, worst quality:1.4), (bad anatomy), (inaccurate limb:1.2),bad composition, inaccurate eyes, extra digit,fewer digits,(extra arms:1.2),umbrella,

采样器：DPM++ 2M Karras

不同的预处理器出图效果

三 直接上传涂鸦特征图出图

如果我们已经有了一张涂鸦特征图，希望根据提供的提示词渲染上色，那就可以直接使用 Scribble 模型，不需要使用预处理器；

找一个涂鸦特征图：

设置合适的提示词和参数：

正向提示词：(masterpiece:1,2), best quality, best detail, ,

1girl,night city,rain,coat,hands in pockets

ControlNet 中可以看到只需要设置模型，不需要在设置预处理器了，我们提供的图就是特征图了！

出图效果：

可见不管是将图片转换成涂鸦草稿，还是直接上传草稿进行渲染出图都是非常方便的！

三种不同的预处理器也很好理解。没有太多的需求，就选 HED。如果只需要轮廓就选 Pidinet，xdog 则比较适合细节控的需求！

参考资料

[1]

Holistically-Nested Edge Detection: https://arxiv.org/abs/1504.06375

[2]

Pixel Difference network: https://github.com/zhuoinoulu/pidinet

[3]

EXtended Difference of Gaussian: https://users.cs.northwestern.edu/~sco590/winnemoeller-cag2012.pdf

如果你觉得课程还不错，别忘了把好内容分享给身边的小伙伴哦

1. 【基础篇】5 分钟快速上手体验 AI 绘画

2. 【基础篇】快进来白嫖！跑1000张图只需要不到两块钱 | 性价比最高的云部署方案

3. 【基础篇】Stable Diffusion 文生图全网最细详解

4. 【基础篇】Stable Diffusion 如何写出更优雅的 Prompt

5. 【基础篇】Stable Diffusion Prompt 进阶，更好的控制 Prompt 出图细节

6. 【基础篇】Stable Diffusion 出图必备脚本神器

7. 【基础篇】Stable Diffusion 解决文生图的局限性：图生图的崭新篇章

8. 【基础篇】万能的 Stable Diffusion Prompt 生成咒语，妈妈再也不用担心我不会写 Prompt 了

9. 【基础篇】Stable Diffusion 最简单易上手的绘图功能了｜10秒实现换装需求

10. 【基础篇】Stable Diffusion 局部重绘原来这么简单 | 哪里不满意就换哪里！

11. 【基础篇】Stable Diffusion  手涂蒙版=绘图+局部重绘

12. 【基础篇】Stable Diffusion 实用功能 | 如何抄作业？包浆图也能整高清咯？

13. 【进阶篇】Stable Diffusion 开启新章节！ControlNet 到底有啥用？一文光速入门 ControlNet

14. 【进阶篇】Stable Diffusion ControlNet 线条约束 | 5秒钟实现线稿上色

15. 【进阶篇】Stable Diffusion ControlNet 深度约束 | 一键提取特征图，不再花冤枉钱

16. 【进阶篇】Stable Diffusion ControlNet 安装&功能简介