文章/答案/技术大牛

发布

社区首页 >专栏 >AI绘画专栏之statble diffusion入门(一)

AI绘画专栏之statble diffusion入门(一)

原创

疯狂的KK

修改于 2023-11-07 09:37:07

1.2K00

代码可运行

文章被收录于专栏：Java项目实战Java项目实战

运行总次数：0

代码可运行

日常问题排查

1.加载时间过长

需要开启一次魔法

2.插件更新

CN大更新需要重启2次

3.启动闪退

什么是SD？

Stable Diffusion 是一个2022年发布的深度学习文本到图像的潜在扩散模型（LDM / Latent Diffusion Model），由 CompVis、Stability AI 和 LAION 的研究人员和工程师创建。它使用来自 LAION-5B 开源数据库子集的512x512图像进行训练，通过引入隐向量空间来解决 Diffusion 速度瓶颈，除了可用于文生图任务，还可以用于图生图、特定角色刻画，甚至是超分或者上色任务

启动器下载

我用夸克网盘分享了「SD启动器下载」，点击链接即可保存。打开「夸克APP」，无需下载在线播放视频，畅享原画5倍速，支持电视投屏。链接：https://pan.quark.cn/s/b16bc4d3ff88

Stable Diffusion 是一个2022年发布的深度学习文本到图像的潜在扩散模型（LDM / Latent Diffusion Model），由 CompVis、Stability AI 和 LAION 的研究人员和工程师创建。它使用来自 LAION-5B 开源数据库子集的512x512图像进行训练，通过引入隐向量空间来解决 Diffusion 速度瓶颈，除了可用于文生图任务，还可以用于图生图、特定角色刻画，甚至是超分或者上色任务

如何理解呢？

当向平静的湖面扔了一个小石子，水波纹向周边扩散最终恢复平静的过程，我们称之为稳定扩散，在图像生图原理中扩散过程是指，将一个图像经过多次迭代，逐渐变得模糊、扩散的过程。在这个过程中，图像的细节信息会逐渐消失，只保留下整体的结构信息。稳定扩散这个名字来源于这个过程的稳定性

稳定扩散（Stable Diffusion）是一种用于图像生成的人工智能模型，它基于扩散过程。扩散过程是指，将一个图像经过多次迭代，逐渐变得模糊、扩散的过程。在这个过程中，图像的细节信息会逐渐消失，只保留下整体的结构信息。稳定扩散这个名字来源于这个过程的稳定性，即在扩散过程中，模型能够学习到图像的稳定特征，从而生成具有较高质量的图像。 稳定扩散模型通常使用生成对抗网络（GAN）进行训练。GAN 由两个部分组成：生成器和判别器。生成器负责生成图像，判别器负责判断图像是真实图像还是生成的图像。在训练过程中，生成器和判别器互相对抗，生成器试图生成更真实的图像以欺骗判别器，判别器则试图识别出真实图像和生成图像。通过不断的迭代训练，生成器能够提高生成图像的质量。 U-Net 是一种特殊的生成对抗网络结构，它主要用于图像生成任务。U-Net 的结构呈“U”形，它将生成器和判别器都拆分成两个部分，分别位于“U”形的两端。其中，一端的生成器负责生成低分辨率的图像，另一端的生成器负责生成高分辨率的图像。判别器也同样分为两部分，分别对应低分辨率和高分辨率的生成器。 U-Net 之所以有效，是因为它采用了一种称为“跳跃连接”的技术。跳跃连接允许低分辨率生成器直接获取高分辨率生成器的输出，从而帮助低分辨率生成器更好地学习到高分辨率图像的细节信息。通过这种方式，U-Net 能够生成高质量、高分辨率的图像。

问题速查

- CUDA out of memory：炸显存换启动参数换显卡 - DefaultCPUAllocator: 炸内存加虚拟内存加内存条 - CUDA driver initialization failed: 装CUDA驱动 - Training models with lowvram not possible: 这点显存还想炼丹？ - WinError 5: 建议重装电脑，或者等下一个整合包

硬件要求

Windows 10 的详细信息：

操作系统： Windows10
python: python 3.10
pytorch: torch2.0.1
tensorflow-cpu: 2.13.0
CUDA: 11.7
CUDNN: 8+
GPU： Nvidia-3060 12G

如何查看自己的显卡和显存？

桌面右键任务管理器

点击性能显卡型号显存大小

基础部署流程同云服务器部署步骤一样显卡建议N卡即英伟达的显卡，显存建议12G以上，固态建议2T，与主板兼容读写速度更佳

1.显卡配置要求为N卡优先，适配程度高，CPU与主板要求不是很高，但需要跟显卡适配，运行过程温度较高（80度左右是正常的不用担心，如果有条件可以物理降温:冰块,玻璃侧板换成防尘纱网），所以散热需要跟上，需要ATX3.0电源或者850W以上（针对90系列显卡），可以物理降温，空调拉倒最低

本地部署步骤，下面有一键安装包无需任何操作，不需要准备任何环境，但基础环境需要自己准备，方便后续使用

优先有N卡的来，1060/ti也能玩，A卡能玩吗？苹果！！！也能玩，但是A卡的教程少，显存不够的也劝退，总之AI有风险，N卡在咆哮。

2.论文和资料极其多，丧心病狂的多

3.苹果电脑需要系统在12.1+但是建议大家N卡

4.笔记本也可以，所有的N卡在低配环境下可以使用CPU跑图，但是建议大家N卡(算了手动滑稽)

这里给大家一个显卡的出图速度参考，方便大家升级显卡：默认 512*512分辨率啥也不设置 20步 4090 ----- 36its 大概0.6秒一张图（王者） 4070ti ---- 19its 大概1秒一张图（40系最佳性价比 6500块） 3090 -------19its 大概1秒一张图 3080 -----15its 大概1.3秒一张图 2080ti ------14its 大概1.4秒一张图（最佳性价比 2500块） 3070ti-------10its 大概2秒一张图 3060ti ------6its 大概3秒一张图 2070 -------4its 大概5秒一张图 1080ti -----3its 大概6秒一张图 1650 --------2its 大概10秒一张图 1060 --------1.5its 大概15秒一张图

内存建议上固态PCIE4.0，买之前确认好自己的主板传输速度是否支持，一定上大空间

由于本插件是批量抽卡可能显卡速度低于2080ti 抽卡会体验不好开高清后更是全部速度会减半所以大家可以根据榜单对应升级显卡。如果你的速度没有达到上面的测速说明你的SD整合包可能不是满速包，可以下载秋叶最新包或者群主公告的整合包。如果不想自己搞硬件，可以尝试云端部署。

WEBUI安装

1.点击zip包解压缩到非C盘盘符，尽可能使用固态硬盘提升读写速度

安装

解压网盘文件

第一步点击启动器运行依赖

第二步解压缩zip文件夹

第三将可选controlnet模型放置\sd-webui-aki-v4\extensions\sd-webui-controlnet\models

你生成的图都放在output文件夹里了

文生图在\outputs\txt2img-images

图生图在outputs\img2img-images

你的插件任意插件都在sd-webui-aki-v4\extensions

你的插件如果需要模型那么也在你的插件里的models文件夹

2.先点击启动器运行依赖安装必要的软件环境，安装完成后点击启动器.exe双击启动

1.一键启动：启动软件和快速查询目录以及版本信息

2.高级选项:非必要勿动

3.疑难解答：有问题可以先看教程

4.版本管理：管理本地版本，插件版本的切换

5.模型管理：出图所需要的全部模型

6.小工具：出图所需要的tag解析器等等

7.小灯泡：切换白色或者深色主题

8.设置：非必要勿动

ctrl + enter 直接出图

Hypernetworks

一种微调 CLIP 和 Unet 权重的方法，使用方法同Lora

采样方法区别

webui插件下载

汉化

2.基础设置调出大模型，vae，clip

3.优化方案设置

3.图片管理器安装

https://github.com/zanllp/sd-webui-infinite-image-browsing

1.基础环境准备(启动器无需安装，但建议安装git)

注：会更改本地代理服务器，第二次上网需要关闭，或者长期开启，关闭在控制台设置：搜索代理，关闭代理，拉取ncpm/git远程仓库开启加速，

物理加速：凌晨下载模型，仓库，拉取镜像等等

Python：版本3.10或者3.9+

Git：官网下载地址：

Pytorch/CUDA：官网拉取GPU对应的pytorch https://pytorch.org/get-started/locally/

2.配置要求N卡参考主页AI算力跑图性能

个人配置跟不上的推荐online

1.1 WD tagger【线稿提示词提取】

1.2插件下载

1.3下载完插件记得重启UI

1.4菜单功能解释

爆显存参数设置：

第一步：点击键盘 Win + R 然后输入%temp% 回车进入文件夹后删除所有缓存文件第二步：开始 - 设置 - 系统 - 存储 - 其他 - 删除文件夹里面的所有内容开始 - 设置 - 系统 - 存储 - 临时文件 - 选择性删除第三步：我的电脑 - 上方路径处输入：%LocalAppData%\pip - 点击回车 - 把cache里的所有文件夹删掉最后：清空回收站

Tile VAE 防爆内存

4.1.先检查启动器参数：

4.2.外挂VAE选择自定义，不指定为autoencoder(自动解码) 84万

4.3.文件位置：根目录/与exe同级别目录/webui-user.bat，使用文本编辑器打开/或者管理员打开

设置参数

webui-user.bat
@echo off
#此处为新加配置，改动任何配置文件需要备份，一次性不要改动多处！！！
set PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:32
set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS=

call webui.bat

删除缓存文件

1.把视频转为帧：一键切帧

切帧工具我发给你

2.图生图选择合适的seed

3.转到mov2mov,调整参数，controlnet，步数，重绘幅度

3.解决手部重绘问题

提示词：hand out of frame

反向：bad hands

4.二次元画风参数

((8k, best quality)),((Exquisite facial features)),((Anime style:1.2)),(1girl, full body),((Standing posture ,looking at viewer )),((JK Style,JK short skirt, Football Baby Knee Socks,flashlight)),Cyberpunk, holographic aura, surreal science fiction art, future science fiction aesthetics, Han style clothing, clothing influenced by ancient Chinese operas,masterpiece, best quality,, masterpiece,best quality,ultra-detailed,very detailed illustrations,extremely detailed,intricate details,highres,super complex details,extremely detailed 8k cg wallpaper, blue eyes,white hair, cyberpunk, sense of technology.

反向提示词：

nsfw,(low quality,normal quality,worst quality,jpeg artifacts),cropped,monochrome,lowres,low saturation,mutated hands,mutated fingers,deformed,bad anatomy,disfigured,poorly drawn face,extra limb,ugly,poorly drawn hands,missing limb,floating limbs,disconnected limbs,out of focus,long neck,long body,extra fingers,fewer fingers,,(multi nipples),bad hands,signature,username,bad feet,blurry,bad body

参考图：