主要分为四类:Checkpoint、LoRA、Textual Inversion、Hypernetwork,分别对应 4 种不同的训练方式。
模型推荐:
Checkpoint > LoRA > Textual Inversion > Hypernetwork
通常情况 Checkpoint 模型搭配 LoRA 或 Textual Inversion 模型使用,可以获得更好的出图效果。
补充:还有一类 VAE 模型,简单理解它的作用就是提升图像色彩效果,让画面看上去不会那么灰蒙蒙,此外对图像细节进行细微调整。
模型对比
模型名称 | 安装目录 | 训练方法 | 常见大小 | 使用方法 | 特点 |
---|---|---|---|---|---|
Checkpoint | \models\Stable Diffusion | Dreambooth | 几GB | WebUI顶部设置栏直接切换 | 最重要的主模型,效果最好,常用于控制画风,但文件体积较大,不够灵活 |
Embedding | \embeddings | Textual Inversion | 几十KB | 提示词框中输入触发关键词 | 最轻量级的模型,适合控制人物角色,但控图能力有限 |
LoRA | \models\Lora | LoRA | 约150MB | 提示词框中输入 <lora:filename:multiplier> | 目前最热门的扩展模型,体积小且控图效果好,常用于固定角角色特征 |
HyperNetworks | \models\hypernetwork | Hypernetwork | 几十MB | 提示词框中输入 <hypenet:filename:multiplier> | 类似低配版LoRa模型,因训练难度较高逐渐被淘汰,多用于控制画风 |
VAE | \models\VAE | / | 约300MB | WebUI顶部设置栏直接切换 | 作为外置模型来弥补主模型的VAE功能,多用于辅助出灰图的主模型 |
解析图片
提示词
展示网站
我们可以把图片下载后通过解析图片的网站查看提示词。
IP DESIGN | 3D可爱化模型
https://www.liblib.art/modelinfo/2beae39bf23edd20675436f88cbf0942
模型文件
ckpt
和 safetensors
格式的都放在Stable Diffusion\models\Stable-diffusion
目录下即可。
safetensors
需要升级WebUI版本才支持。
WebUI与ComfyUI,两者本质上都源自Stable Diffusion,但在实际应用上,它们各自展现出了独特的形态。
如果以台式电脑为喻,WebUI就如同一台功能齐全、易于使用的一体机,而ComfyUI则更类似于一台可以根据个人需求进行自由组装的电脑。
这两者都是第三方开发的工具,旨在为用户提供更为便捷的图像生成体验。
其中,ComfyUI目前已经得到了官方的认可。
WebUI易用,但ComfyUI无疑是值得你深入学习和掌握的工具。
通过不断学习和实践,你将能够充分利用ComfyUI的优势,实现更加高效、精准的图像生成。
WebUI
ComfyUI
使用工作流的方式生成图片。
所有提示词中的符号均为英文字符。
不同的提示词之间使用,
分割。
越靠前的提示词权重越高。
示例
(word:1.5)//将括号内的提示词权重设置为1.5
(word:0.25)//将括号内的提示词权重设置为0.25
(word)//将括号内的提示词权重设置为1.1
((word))//将括号内的提示词权重设置为1.21(= 1.1 * 1.1)
[word]//将括号内的提示词权重为0.9
此提示词语法可以先绘制前面的提示词内容,然后再绘制后面的提示词内容。其基本语法为:
[from:to:when]
举例说明:
[male:female:0.6] 代表前60%采样步数画male(男人),后40%步画female(女人)。
基本上会生成既有男性特性又有女性特征的图片。
此提示词语法代表每隔一步换一个提示词交替绘制,此语法可以绘制出各种融合怪四不像,很有意思!
举个例子:
[cat|tiger]
此语法代表cat和tiger交替绘制,最后能生成虎猫兽。
此语法使用大写 AND ,以使两者权重保持一致。
这里要说明一下,默认的提示词编写是使用逗号分隔的,那种写法是有先后顺序区别的,靠前的提示词权重比较高。
这里使用AND语法可以让多个提示词权重保持一致。
a lion AND a bear
另外此语法支持指定权重值:默认权重值为 1,也可以指定每个提示词的权重,比如:
a cat :1.3 AND a dog :1.2 AND a panda :2.6
效果
正向提示词
masterpiece,high quality,a girl,Fantasy character in elaborate costume,holding a staff,pink hair,butterfly accessories,golden crown,holding a magical staff,detailed gown with iridescent fabrics,rendered illustration,vibrant colors,bokeh effect,fantasy style,anthropomorphism,attack,enchanting,blurry_foreground,detailed embroidery,3d render,cg,magical ambiance,fairy tale,animal,butterfly,fantastic scenes,outdoors,in the forest,feitian,fly up,sky,cloud,flower,wide_shot,stars in the eyes,messy floating hair,colored inner hair,Starry sky adorns hair,(lots of big colorful Bubble),(pearl),(Galaxy),depth of field,butterfly_wings,
反向提示词
(worst quality:2),(low quality:2),(normal quality:2),lowres,watermark,tail,