前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >AI绘画专栏之statble diffusion入门(一)

AI绘画专栏之statble diffusion入门(一)

原创
作者头像
疯狂的KK
修改于 2023-11-07 09:37:07
修改于 2023-11-07 09:37:07
1.2K00
代码可运行
举报
文章被收录于专栏:Java项目实战Java项目实战
运行总次数:0
代码可运行

日常问题排查

1.加载时间过长

需要开启一次魔法

2.插件更新

CN大更新需要重启2次

3.启动闪退

什么是SD?

Stable Diffusion 是一个2022年发布的深度学习文本到图像的潜在扩散模型(LDM / Latent Diffusion Model),由 CompVis、Stability AI 和 LAION 的研究人员和工程师创建。它使用来自 LAION-5B 开源数据库子集的512x512图像进行训练,通过引入隐向量空间来解决 Diffusion 速度瓶颈,除了可用于文生图任务,还可以用于图生图、特定角色刻画,甚至是超分或者上色任务

启动器下载

我用夸克网盘分享了「SD启动器下载」,点击链接即可保存。打开「夸克APP」,无需下载在线播放视频,畅享原画5倍速,支持电视投屏。 链接:https://pan.quark.cn/s/b16bc4d3ff88

Stable Diffusion 是一个2022年发布的深度学习文本到图像的潜在扩散模型(LDM / Latent Diffusion Model),由 CompVis、Stability AI 和 LAION 的研究人员和工程师创建。它使用来自 LAION-5B 开源数据库子集的512x512图像进行训练,通过引入隐向量空间来解决 Diffusion 速度瓶颈,除了可用于文生图任务,还可以用于图生图、特定角色刻画,甚至是超分或者上色任务

如何理解呢?

当向平静的湖面扔了一个小石子,水波纹向周边扩散最终恢复平静的过程,我们称之为稳定扩散,在图像生图原理中扩散过程是指,将一个图像经过多次迭代,逐渐变得模糊、扩散的过程。在这个过程中,图像的细节信息会逐渐消失,只保留下整体的结构信息。稳定扩散这个名字来源于这个过程的稳定性

稳定扩散(Stable Diffusion)是一种用于图像生成的人工智能模型,它基于扩散过程。扩散过程是指,将一个图像经过多次迭代,逐渐变得模糊、扩散的过程。在这个过程中,图像的细节信息会逐渐消失,只保留下整体的结构信息。稳定扩散这个名字来源于这个过程的稳定性,即在扩散过程中,模型能够学习到图像的稳定特征,从而生成具有较高质量的图像。 稳定扩散模型通常使用生成对抗网络(GAN)进行训练。GAN 由两个部分组成:生成器和判别器。生成器负责生成图像,判别器负责判断图像是真实图像还是生成的图像。在训练过程中,生成器和判别器互相对抗,生成器试图生成更真实的图像以欺骗判别器,判别器则试图识别出真实图像和生成图像。通过不断的迭代训练,生成器能够提高生成图像的质量。 U-Net 是一种特殊的生成对抗网络结构,它主要用于图像生成任务。U-Net 的结构呈“U”形,它将生成器和判别器都拆分成两个部分,分别位于“U”形的两端。其中,一端的生成器负责生成低分辨率的图像,另一端的生成器负责生成高分辨率的图像。判别器也同样分为两部分,分别对应低分辨率和高分辨率的生成器。 U-Net 之所以有效,是因为它采用了一种称为“跳跃连接”的技术。跳跃连接允许低分辨率生成器直接获取高分辨率生成器的输出,从而帮助低分辨率生成器更好地学习到高分辨率图像的细节信息。通过这种方式,U-Net 能够生成高质量、高分辨率的图像。

问题速查

- CUDA out of memory: 炸显存 换启动参数 换显卡 - DefaultCPUAllocator: 炸内存 加虚拟内存 加内存条 - CUDA driver initialization failed: 装CUDA驱动 - Training models with lowvram not possible: 这点显存还想炼丹? - WinError 5: 建议重装电脑,或者等下一个整合包

硬件要求

Windows 10 的详细信息:

  • 操作系统: Windows10
  • python: python 3.10
  • pytorch: torch2.0.1
  • tensorflow-cpu: 2.13.0
  • CUDA: 11.7
  • CUDNN: 8+
  • GPU: Nvidia-3060 12G

如何查看自己的显卡和显存?

桌面右键 任务管理器

点击性能 显卡型号 显存大小

基础部署流程同云服务器部署步骤一样显卡建议N卡即英伟达的显卡,显存建议12G以上,固态建议2T,与主板兼容读写速度更佳

1.显卡配置要求为N卡优先,适配程度高,CPU与主板要求不是很高,但需要跟显卡适配,运行过程温度较高(80度左右是正常的不用担心,如果有条件可以物理降温:冰块,玻璃侧板换成防尘纱网),所以散热需要跟上,需要ATX3.0电源或者850W以上(针对90系列显卡),可以物理降温,空调拉倒最低

本地部署步骤,下面有一键安装包无需任何操作,不需要准备任何环境,但基础环境需要自己准备,方便后续使用

优先有N卡的来,1060/ti也能玩,A卡能玩吗?苹果!!!也能玩,但是A卡的教程少,显存不够的也劝退,总之AI有风险,N卡在咆哮。

2.论文和资料极其多,丧心病狂的多

3.苹果电脑需要系统在12.1+但是建议大家N卡

4.笔记本也可以,所有的N卡在低配环境下可以使用CPU跑图,但是建议大家N卡(算了手动滑稽)

这里给大家一个显卡的出图速度参考,方便大家升级显卡: 默认 512*512分辨率 啥也不设置 20步 4090 ----- 36its 大概0.6秒一张图 (王者) 4070ti ---- 19its 大概1秒一张图 (40系最佳性价比 6500块) 3090 -------19its 大概1秒一张图 3080 -----15its 大概1.3秒一张图 2080ti ------14its 大概1.4秒一张图 (最佳性价比 2500块) 3070ti-------10its 大概2秒一张图 3060ti ------6its 大概3秒一张图 2070 -------4its 大概5秒一张图 1080ti -----3its 大概6秒一张图 1650 --------2its 大概10秒一张图 1060 --------1.5its 大概15秒一张图

内存建议上固态PCIE4.0,买之前确认好自己的主板传输速度是否支持,一定上大空间

由于本插件是批量抽卡 可能显卡速度低于2080ti 抽卡会体验不好 开高清后更是全部速度会减半 所以大家可以根据榜单对应升级显卡。 如果你的速度没有达到上面的测速 说明你的SD整合包 可能不是满速包,可以下载秋叶最新包或者群主公告的整合包。 如果不想自己搞硬件,可以尝试云端部署。

WEBUI安装

1.点击zip包解压缩到非C盘盘符,尽可能使用固态硬盘提升读写速度

安装

解压网盘文件

第一步点击启动器运行依赖

第二步解压缩zip文件夹

第三将可选controlnet模型放置\sd-webui-aki-v4\extensions\sd-webui-controlnet\models

你生成的图都放在output文件夹里了

文生图在\outputs\txt2img-images

图生图在outputs\img2img-images

你的插件任意插件都在sd-webui-aki-v4\extensions

你的插件如果需要模型那么也在你的插件里的models文件夹

2.先点击启动器运行依赖安装必要的软件环境,安装完成后点击启动器.exe双击启动

1.一键启动:启动软件和快速查询目录以及版本信息

2.高级选项:非必要勿动

3.疑难解答:有问题可以先看教程

4.版本管理:管理本地版本,插件版本的切换

5.模型管理:出图所需要的全部模型

6.小工具:出图所需要的tag解析器等等

7.小灯泡:切换白色或者深色主题

8.设置:非必要勿动

ctrl + enter 直接出图

Hypernetworks

一种微调 CLIP 和 Unet 权重的方法,使用方法同Lora

采样方法区别

webui插件下载

汉化

2.基础设置调出大模型,vae,clip

3.优化方案设置

3.图片管理器安装

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
https://github.com/zanllp/sd-webui-infinite-image-browsing

1.基础环境准备(启动器无需安装,但建议安装git)

注:会更改本地代理服务器,第二次上网需要关闭,或者长期开启,关闭在控制台设置:搜索代理,关闭代理,拉取ncpm/git远程仓库开启加速,

物理加速:凌晨下载模型,仓库,拉取镜像等等

Python:版本3.10或者3.9+

Git:官网下载地址:

Pytorch/CUDA:官网拉取GPU对应的pytorch https://pytorch.org/get-started/locally/

2.配置要求N卡 参考主页AI算力跑图性能

个人配置跟不上的推荐online

1.1 WD tagger【线稿提示词提取】

1.2插件下载

1.3下载完插件记得重启UI

1.4菜单功能解释

爆显存参数设置:

第一步: 点击键盘 Win + R 然后输入%temp% 回车进入文件夹后删除所有缓存文件 第二步: 开始 - 设置 - 系统 - 存储 - 其他 - 删除文件夹里面的所有内容 开始 - 设置 - 系统 - 存储 - 临时文件 - 选择性删除 第三步: 我的电脑 - 上方路径处输入:%LocalAppData%\pip - 点击回车 - 把cache里的所有文件夹删掉 最后: 清空回收站

Tile VAE 防爆内存

4.1.先检查启动器参数:

4.2.外挂VAE选择自定义,不指定为autoencoder(自动解码) 84万

4.3.文件位置:根目录/与exe同级别目录/webui-user.bat,使用文本编辑器打开/或者管理员打开

设置参数

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
webui-user.bat
@echo off
#此处为新加配置,改动任何配置文件需要备份,一次性不要改动多处!!!
set PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:32
set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS=

call webui.bat

删除缓存文件

1.把视频转为帧:一键切帧

切帧工具我发给你

2.图生图选择合适的seed

3.转到mov2mov,调整参数,controlnet,步数,重绘幅度

3.解决手部重绘问题

提示词:hand out of frame

反向:bad hands

4.二次元画风参数

((8k, best quality)),((Exquisite facial features)),((Anime style:1.2)),(1girl, full body),((Standing posture ,looking at viewer )),((JK Style,JK short skirt, Football Baby Knee Socks,flashlight)),Cyberpunk, holographic aura, surreal science fiction art, future science fiction aesthetics, Han style clothing, clothing influenced by ancient Chinese operas,masterpiece, best quality,, masterpiece,best quality,ultra-detailed,very detailed illustrations,extremely detailed,intricate details,highres,super complex details,extremely detailed 8k cg wallpaper, blue eyes,white hair, cyberpunk, sense of technology.

反向提示词:

nsfw,(low quality,normal quality,worst quality,jpeg artifacts),cropped,monochrome,lowres,low saturation,mutated hands,mutated fingers,deformed,bad anatomy,disfigured,poorly drawn face,extra limb,ugly,poorly drawn hands,missing limb,floating limbs,disconnected limbs,out of focus,long neck,long body,extra fingers,fewer fingers,,(multi nipples),bad hands,signature,username,bad feet,blurry,bad body

参考图:

5.个人常用大模型总结

个人常用Lora模型:

重绘/inpainting/蒙版重绘/后期处理

1.放大系数选择:默认为regional时,根据画面大小,选择32/64,以重绘中心扩散半径计算,但系数越大,与周边融合越没有违和感

2.inpainting vs 蒙版重绘 vs regional

3.后期处理:upscale系数算法选择一致,scale在0时影响介入,1时效果最小

选择original 再搭配Adetailer 效果不明显,需要选择fill,单元格选择face_mesh ,重绘填充半径32-64效果搭配脸部手部,提示词系数目前推荐0.5以上

cn重绘 inpainting

我正在参与2023腾讯技术创作特训营第三期有奖征文,组队打卡瓜分大奖!

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
AI绘画专栏之statble diffusion SDXL 1.0 (五)
稳定扩散(Stable Diffusion)是一种用于图像生成的人工智能模型,它基于扩散过程。扩散过程是指,将一个图像经过多次迭代,逐渐变得模糊、扩散的过程。在这个过程中,图像的细节信息会逐渐消失,只保留下整体的结构信息。稳定扩散这个名字来源于这个过程的稳定性,即在扩散过程中,模型能够学习到图像的稳定特征,从而生成具有较高质量的图像。
疯狂的KK
2023/11/09
7480
AI绘画专栏之statble diffusion  SDXL 1.0 (五)
【腾讯云AI绘画】AI绘画专栏之全网第一套系统的AI绘画课 零基础学会AI绘画
随着深度学习和计算机视觉的进步,AI绘画逐渐成为了可能。通过大量的数据训练和复杂的算法模型,AI可以学习艺术家的绘画风格,并生成以假乱真的艺术作品。这种技术的突破,使得AI能够模仿各种绘画风格,从古典到现代,从印象派到抽象艺术,尽显无限创造力。
疯狂的KK
2023/11/30
3.3K17
【腾讯云AI绘画】AI绘画专栏之全网第一套系统的AI绘画课 零基础学会AI绘画
AI绘画SDXL实用笔记
1 ControlNet SDXL1.0模型https://pan.quark.cn/s/8bff6e05dc96
疯狂的KK
2023/10/11
8630
AI绘画SDXL实用笔记
AI绘画:Stable Diffusion 终极炼丹宝典:从入门到精通
历经耗时数十个小时,总算将这份Stable Diffusion的使用教程整理妥当。
AI飞行家
2023/07/21
3K0
AI绘画:Stable Diffusion 终极炼丹宝典:从入门到精通
【玩转GPU】AI绘画专栏stablediffusion SDXL小白入门教程 | 提示词教程 腾讯云专属
【玩转 GPU】AI绘画、AI文本、AI翻译、GPU点亮AI想象空间-腾讯云开发者社区-腾讯云 (tencent.com)
疯狂的KK
2023/07/09
3.6K0
【玩转GPU】AI绘画专栏stablediffusion SDXL小白入门教程 | 提示词教程  腾讯云专属
AI绘画专栏之statble diffusion SDXL 1.0 换脸roop easyphoto (24)
支持使用SDXL模型和一定的选项直接生成高清大图,不再需要上传模板,需要16GB显存
疯狂的KK
2023/11/15
3.3K0
AI绘画专栏之statble diffusion SDXL 1.0 换脸roop easyphoto (24)
AI绘画专栏之statble diffusion采样方法篇(三)
一个标准的Stable Diffusion分为两个步骤;前向扩散过程,和后向的去噪、复原以及生成目标的过程。前向过程不断向输入数据中添加噪声,而采样器主要在后向过程中负责去噪的过程。
疯狂的KK
2023/11/07
5870
AI绘画专栏之statble diffusion采样方法篇(三)
AI绘画专栏之HAI起来~Stablediffusion|文生视频|Controlnet|SDXL|Comfyui插件
Sora、StableForge、StableCasecade、Stable3.0、SDXLLighting、PlaygroundV2.5,Stable webui1.8等
疯狂的KK
2024/03/12
3.4K1
AI绘画专栏之HAI起来~Stablediffusion|文生视频|Controlnet|SDXL|Comfyui插件
AI绘画一键生成美图-变成画家
论文题目:High-Resolution Image Synthesis with Latent Diffusion Models(基于潜在扩散模型的高分辨率图像合成)
Srlua
2024/12/13
1330
AI绘画一键生成美图-变成画家
【零绘画基础程序员必学】AI绘画入门笔记01—Stable Diffusion上手体验
前几年火爆全球的AI图像生成如今已经成为了设计师的必备工作流,作为不会绘画的程序员,平时做PPT、写文档也常常被插图困扰,是时候系统地学习下AI生图工具Stable Diffusion了。
CS逍遥剑仙
2025/03/17
6641
AI绘画专栏之statble diffusion入门之插件篇(二)
疯狂的KK
2023/11/07
9050
AI绘画专栏之statble diffusion入门之插件篇(二)
AI 绘画工具 Stable Diffusion 本地安装使用
最近要用到 AI 绘画,所以研究了下目前市面上的 AI 绘画工具,真可谓是琳琅满目,但主流的还是 Stable diffusion 和 Midjourney 两大阵营。
程序员树先生
2023/06/21
1.1K0
AI 绘画工具 Stable Diffusion 本地安装使用
今年很火的AI绘画怎么玩
2022年绝对可以说是AIGC元年,从google搜索的趋势来看,在2022年AI绘画及AI生成艺术的搜索量激增。
得物技术
2023/03/22
1.5K0
今年很火的AI绘画怎么玩
基于腾讯云CVM搭建stable-diffusion-webui环境
CompVis/stable-diffusion 是一个开源项目,它实现了一种基于稳定扩散(Stable Diffusion)的生成对抗网络(GAN)训练方法。这个项目旨在提高 GAN 训练的稳定性和生成图像的质量。项目地址:https://github.com/CompVis/stable-diffusion
buzzfrog
2023/03/23
20.9K15
基于腾讯云CVM搭建stable-diffusion-webui环境
AI绘画专栏之 comfyUI WEBUI一个插件性能就提升5倍?(21)
伴随着OpenAI在11月7日开发者大会当天除了chatGPTs全家桶外,OpenAI开源了全新解码器,依赖LCM技术,开源了全新的VAE,随之而来的LCM这个名词也火了起来,但是说好的提升怎么变成5倍了?文末领取插件地址!!!
疯狂的KK
2023/11/13
2.6K0
AI绘画专栏之 comfyUI WEBUI一个插件性能就提升5倍?(21)
AI绘画专栏之statble diffusion AI绘画&游戏速度翻倍 显卡硬件飞天了(22)
RTX VSR 视频超分辨率 (RTX Video Super Resolution) 于今年早些时候在 CES 上推出,它利用 AI 消除压缩伪影,并在放大视频时锐化边缘,从而增强您在线观看的任何视频。
疯狂的KK
2023/11/14
5700
AI绘画专栏之statble diffusion AI绘画&游戏速度翻倍 显卡硬件飞天了(22)
开源图像模型Stable Diffusion入门手册
作者:hking Stable Diffusion 是 2022 年发布的深度学习文字到图像生成模型。它主要用于根据文字的描述产生详细图像,能够在几秒钟内创作出令人惊叹的艺术作品,本文是一篇使用入门教程。 硬件要求 建议使用不少于 16 GB 内存,并有 60GB 以上的硬盘空间。需要用到 CUDA 架构,推荐使用 N 卡。(目前已经有了对 A 卡的相关支持,但运算的速度依旧明显慢于 N 卡,参见: Install and Run on AMD GPUs · AUTOMATIC1111/stable-dif
腾讯技术工程官方号
2023/04/14
9.5K0
开源图像模型Stable Diffusion入门手册
AI绘画专栏之statble diffusion 艺术字体光影文字(十八)
随着人工智能技术的不断发展,AI绘画已经成为了当代艺术创作的一种重要方式。其中,利用AI技术制作艺术字体也是一种非常有趣的应用。下面,我将介绍几种利用AI绘画制作艺术字体的方法。
疯狂的KK
2023/11/13
7510
AI绘画专栏之statble diffusion 艺术字体光影文字(十八)
【HAI要玩AI】DeepSeek R1助力AIGC生图 StableDiffusion Comfyui工作流电商实战一键部署
Hello大家好,好久不见,我是KK,欢迎来到本期深度解析,本期将带领大家全方位的体验AI在电商领域的助力效果,期间会体验到一键部署,DeepSeek R1满血版助力助力AIGC生图提示词,StableDiffusion在电商领域的实战样例,详细到知识点,工作流,部署,以及扩展,尽管腾讯混元Video等文生/图生视频模型展现了惊人的创造力,但本地部署的硬件门槛如20/30系显卡算力局限、AMD架构兼容性问题仍将大量开发者拒之门外。值得关注的是,在电商领域,​Stable Diffusion正通过云端协同、轻量化一键部署、可视化界面、Comfyui工作流等方案突破桎梏,在各行各业生根开花。
疯狂的KK
2025/03/11
9822
【HAI要玩AI】DeepSeek R1助力AIGC生图 StableDiffusion Comfyui工作流电商实战一键部署
教会你使用AI绘画利器Stable Diffusion
作者:corey 随着 stable-diffusion 的开源,让更多人有机会直接参与到 AI 绘画的创作中,相关的教程也如雨后春笋般的出现。可是目前我看到的教程同质性较高,通常只能称作为"使用流程讲解",但是通常没有对其原理和逻辑进行深入说明。 所以本文的目的,是用尽可能少的废话,给大家补充一些重要的相关知识。对于"怎么用"这类的问题,通常有别人已经讲解过,我就不会过多赘述(而是贴一个教程链接,请读者自己学习)。如果你想了解更多关于"是什么"、"为什么"的问题,那么本文将会给你更多的解答,尽可能让读者做
腾讯技术工程官方号
2023/04/29
3.4K0
教会你使用AI绘画利器Stable Diffusion
推荐阅读
相关推荐
AI绘画专栏之statble diffusion SDXL 1.0 (五)
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验