首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >AI绘画专栏之statble diffusion 放大图片 (九)

AI绘画专栏之statble diffusion 放大图片 (九)

原创
作者头像
疯狂的KK
发布于 2023-11-09 10:18:41
发布于 2023-11-09 10:18:41
5830
举报
文章被收录于专栏:Java项目实战Java项目实战

在数字时代,拍照、截图、保存美景已经成为我们生活中的常态。然而,有时候我们会遇到一些问题:图像过于模糊、细节不清晰、像素低,这些都可能影响我们欣赏和分享美好瞬间的体验。幸运的是,如今有免费的AI图像高清放大工具可以帮助我们解决这些问题,让我们能够享受更清晰、更精彩的图像。

1.是什么

  1. 高保真图像放大
    1. 不修改人物脸部的同时添加非常细致的细节和纹理
    2. 适合大多数图片(真实或动漫,摄影作品或AIGC,SD 1.5或Midjourney图片...)
  2. 较少的显存消耗
    1. 我移除了官方实现中显存消耗高的模块。
    2. 剩下的模型比ControlNet Tile模型小得多,需要的显存也少得多。
    3. 当结合Tiled Diffusion & VAE时,你可以在有限的显存(例如,<12GB)中进行4k图像放大。
  3. 注意,sdp可能会不明原因炸显存。建议使用xformers。
  4. 小波分解颜色修正
    1. StableSR官方实现有明显的颜色偏移,这一问题在分块放大时更加明显。
    2. 我实现了一个强大的后处理技术,有效地匹配放大图像与原图的颜色。

2.怎么下

⚪ 方法 1: 官方市场

  • 打开Automatic1111 WebUI -> 点击“扩展”选项卡 -> 点击“可用”选项卡 -> 找到“StableSR” -> 点击“安装”

⚪ 方法 2: URL 安装

3.怎么玩

我们目前有两个版本。它们产生的细节相似,但是768版本的边缘更自然。

  • 您必须使用 StabilityAI 提供的 Stable Diffusion V2.1 768 EMA 检查点(约5.21GB)
    • 将其放入 stable-diffusion-webui/models/Stable-Diffusion/ 文件夹中
  • 下载提取后的 StableSR 模块
    • 将 StableSR 模块(约400MB)放入 stable-diffusion-webui/extensions/sd-webui-stablesr/models/ 文件夹中

  • 您必须使用 StabilityAI 提供的 Stable Diffusion V2.1 512 EMA 检查点(约5.21GB)
    • 将其放入 stable-diffusion-webui/models/Stable-Diffusion/ 文件夹中
  • 下载提取后的 StableSR 模块
    • 将 StableSR 模块(约400MB)放入 stable-diffusion-webui/extensions/sd-webui-stablesr/models/ 文件夹中

虽然我们使用了 SD2.1 的检查点,但您仍然可以放大任何图片(甚至来自 SD1.5 或 NSFW)。您的图片不会被审查,输出质量也不会受到影响。

  • 安装 Tiled diffusion 和VAE扩展
    • 原始的 StableSR 对大于 512 的大图像容易出现 OOM。
    • 为了获得更好的质量和更少的 VRAM 使用,我们建议使用 Tiled Diffusion & VAE。
  • 使用官方 VQGAN VAE
    • 把VQVAE(约750MB大小)放在你的 stable-diffusion-webui/models/VAE 中
  • 在 WebUI 的顶部,选择你下载的 v2-1_512-ema-pruned 模型。
  • 切换到 img2img 标签。在页面底部找到 "Scripts" 下拉列表。
    • 选择 StableSR 脚本。
    • 点击刷新按钮,选择你已下载的 StableSR 检查点。
    • 选择一个放大因子。
  • 上传你的图像并开始生成(无需提示也能工作)。
  • 推荐使用 Euler a 采样器,CFG值=7,步数 >= 20。
    • 尽管StableSR不需要提示词也能工作,我们发现负面提示词能显著增强细节。比如使用3d, cartoon, anime, sketches, (worst quality:2), (low quality:2)
    • 点击查看有/没有prompt的对比
  • 如果生成图像尺寸 > 512,我们推荐使用 Tiled Diffusion & VAE,否则,图像质量可能不理想,VRAM 使用量也会很大。
  • 这里是官方推荐的 Tiled Diffusion 设置。
    • 方法 = Mixture of Diffusers
    • 隐空间Tile大小 = 64,隐空间Tile重叠 = 32
    • Tile批大小尽可能大,直到差一点点就炸显存为止。
    • Upscaler必须选择None。
  • 下图是24GB显存的推荐设置。
    • 对于4GB的设备,只需将Tiled Diffusion Latent tile批处理大小改为1,Tiled VAE编码器Tile大小改为1024,解码器Tile大小改为128。
    • SDP注意力优化可能会导致OOM(内存不足),因此推荐使用xformers。
    • 除非你有深入的理解,否则你不要改变Tiled Diffusion & Tiled VAE中的其他设置。这些参数对于StableSR基本上是最优解。
  • 什么是 "Pure Noise"?
    • Pure Noise也就是纯噪声,指的是从完全随机的噪声张量开始,而不是从你的图像开始。这是 StableSR 论文中的默认做法。
    • 启用这个选项时,脚本会忽略你的重绘幅度设置。产出将会是更详细的图像,但也会显著改变颜色和锐度。
    • 禁用这个选项时,脚本会开始添加一些噪声到你的图像。即使你将去噪强度设为1,结果也不会那么的细节(但可能更和谐好看)。
    • 如果禁用Pure Noise,推荐重绘幅度设置为1
  • 什么是"颜色修正"?
    • 这是为了缓解来自StableSR和Tile处理过程中的颜色偏移问题。
    • AdaIN简单地匹配原图和结果图的颜色统计信息。这是StableSR官方算法,但常常效果不佳。
    • Wavelet将原图和结果图分解为低频和高频,然后用原图的低频信息(颜色)替换掉结果图的低频信息。该算法对于不均匀的颜色偏移非常强力。算法来自GIMP和Krita,对每张图像需要几秒钟的时间。
    • 启用颜色修正时,原图也会出现在您的预览窗口中,但不会被自动保存。

为什么我的结果和官方示例不同?

  • 这不是你或我们的错。
    • 如果正确安装,这个扩展有与 StableSR 相同的 UNet 模型权重。
    • 如果你安装了可选的 VQVAE,整个模型权重将与融合权重为 0 的官方模型相同。
  • 但是,你的结果将不如官方结果,因为:
    • 采样器差异:
      • 官方仓库进行 100 或 200 步的 legacy DDPM 采样,并使用自定义的时间步调度器,采样时不使用负提示。
      • 然而,WebUI 不提供这样的采样器,必须带有负提示进行采样。这是主要的差异。
    • VQVAE 解码器差异:
      • 官方 VQVAE 解码器将一些编码器特征作为输入。
      • 然而,在实践中,我发现这些特征对于大图像来说非常大。 (>10G 用于 4k 图像,即使是在 float16!)
      • 因此,我移除了 VAE 解码器中的 CFW 组件。由于这导致了对细节的较低保真度,我将尝试将它作为一个选项添加回去

4.怎么办

显存问题

12 SD自带放大

通过这些免费的AI图像高清放大工具,我们能够轻松将模糊、低分辨率的图像转化为高清的作品,细节和纹理都能得到显著提升。无论是个人使用还是运营自媒体,我们都可以从中受益,提升我们的图像内容质量。

我正在参与2023腾讯技术创作特训营第三期有奖征文,组队打卡瓜分大奖!

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
AI绘画专栏之statble diffusion入门(一)
我用夸克网盘分享了「SD启动器下载」,点击链接即可保存。打开「夸克APP」,无需下载在线播放视频,畅享原画5倍速,支持电视投屏。 链接:https://pan.quark.cn/s/b16bc4d3ff88
疯狂的KK
2023/11/07
1.3K0
AI绘画专栏之statble diffusion入门(一)
AI绘画专栏之statble diffusion采样方法篇(三)
一个标准的Stable Diffusion分为两个步骤;前向扩散过程,和后向的去噪、复原以及生成目标的过程。前向过程不断向输入数据中添加噪声,而采样器主要在后向过程中负责去噪的过程。
疯狂的KK
2023/11/07
6180
AI绘画专栏之statble diffusion采样方法篇(三)
Stable Diffusion中的常用术语解析
对于很多初学者来说,会对Stable Diffusion中的很多术语感到困惑,当然你不是唯一的那个。
程序那些事
2024/04/23
3950
Stable Diffusion中的常用术语解析
AI绘画专栏之statble diffusion SDXL 1.0 换脸roop easyphoto (24)
支持使用SDXL模型和一定的选项直接生成高清大图,不再需要上传模板,需要16GB显存
疯狂的KK
2023/11/15
3.4K0
AI绘画专栏之statble diffusion SDXL 1.0 换脸roop easyphoto (24)
AI绘画专栏之statble diffusion controlnet 篇(八)
它与 Inpaint 的方法相同,但它的工作原理是从 BMAB 调用 ControlNet 并使用 Inpaint+lama。 创建图像后,在开始细化之前,我们使用 img2img 扩展背景以使整体图形更小
疯狂的KK
2023/11/09
7160
AI绘画专栏之statble diffusion controlnet  篇(八)
SD中的VAE,你不能不懂
VAE,即变分自编码器(Variational Autoencoder),是一种生成模型,它通过学习输入数据的潜在表示来重构输入数据。
程序那些事
2024/07/03
1.4K0
SD中的VAE,你不能不懂
Stable Diffusion 硬核生存指南:WebUI 中的 VAE
本篇文章聊聊 Stable Diffusion 生态中呼声最高、也是最复杂的开源模型管理图形界面 “stable-diffusion-webui” 中和 VAE 相关的事情。
soulteary
2023/09/04
1.6K0
Stable Diffusion 硬核生存指南:WebUI 中的 VAE
炸裂!新版 SD WebUI Forge 出图速度更快!支持最新Flux 模型!(保姆级安装教程)
大家是不是经常为SD WebUI卡顿、爆显存而苦恼?一启动SD 电脑就开始发烫, 尤其低显存用户屡屡"中招",不得不一遍遍重启。作为AI绘画的必备工具,WebUI却还有这么多"坑",着实让人不爽!😠
贾维斯Echo
2024/09/11
1.9K1
炸裂!新版 SD WebUI Forge 出图速度更快!支持最新Flux 模型!(保姆级安装教程)
AI绘画一键生成美图-变成画家
论文题目:High-Resolution Image Synthesis with Latent Diffusion Models(基于潜在扩散模型的高分辨率图像合成)
Srlua
2024/12/13
1850
AI绘画一键生成美图-变成画家
AI绘画零基础入门:一文掌握Stable Diffusion全攻略
目前市面上比较权威,并能用于工作中的AI绘画软件其实就两款。一个叫Midjourney(简称MJ),另一个叫Stable-Diffusion(简称SD)。MJ需要付费使用,而SD开源免费,但是上手难度和学习成本略大,并且非常吃电脑配置(显卡、内存)。
曾高飞
2025/06/30
2520
AI绘画专栏之statble diffusion SDXL 1.0 模型管理 大模型Lora(30)
如果你有很多Lora或大模型需要存储,但不想移动存储基础文件,你可以考虑使用以下插件:
疯狂的KK
2023/11/15
6760
AI绘画专栏之statble diffusion SDXL 1.0 模型管理 大模型Lora(30)
【零绘画基础程序员必学】AI绘画入门笔记03—初识ComfyUI+FlUX
前面介绍的SD的操作界面其实叫做 WebUI,这是SD的入门操作界面,它非常适合初学者快速上手。它的界面简洁,功能展示清晰,很适合用户理解SD的生图方式。
CS逍遥剑仙
2025/04/18
4830
Ai绘画工具,Stable Diffusion插件使用攻略
Stable Diffusion的插件主要是用来丰富SD的一些功能,例如C站助手,提示词助手,图片信息助手等插件都是为了增强SD的实用性。
SQL数据库开发
2024/04/25
6830
Ai绘画工具,Stable Diffusion插件使用攻略
教会你使用AI绘画利器Stable Diffusion
作者:corey 随着 stable-diffusion 的开源,让更多人有机会直接参与到 AI 绘画的创作中,相关的教程也如雨后春笋般的出现。可是目前我看到的教程同质性较高,通常只能称作为"使用流程讲解",但是通常没有对其原理和逻辑进行深入说明。 所以本文的目的,是用尽可能少的废话,给大家补充一些重要的相关知识。对于"怎么用"这类的问题,通常有别人已经讲解过,我就不会过多赘述(而是贴一个教程链接,请读者自己学习)。如果你想了解更多关于"是什么"、"为什么"的问题,那么本文将会给你更多的解答,尽可能让读者做
腾讯技术工程官方号
2023/04/29
3.5K0
教会你使用AI绘画利器Stable Diffusion
【零绘画基础程序员必学】AI绘画入门笔记01—Stable Diffusion上手体验
前几年火爆全球的AI图像生成如今已经成为了设计师的必备工作流,作为不会绘画的程序员,平时做PPT、写文档也常常被插图困扰,是时候系统地学习下AI生图工具Stable Diffusion了。
CS逍遥剑仙
2025/03/17
8501
【腾讯云 HAI域探秘】HAI轻松搭建stable diffusion, 开启AI绘画奇妙之旅
2022年下半年开始,从chatgpt的火爆出圈到今天各种好玩的模型、工具应用层出不穷,迭代更新速度更是日新月异,让普通用户也直观的感受到了AI技术的强大。
用户8653637
2023/11/19
9230
【腾讯云 HAI域探秘】HAI轻松搭建stable diffusion, 开启AI绘画奇妙之旅
如何在无 GPU 的 macOS 上运行深度学习文本生成图片模型​ Stable Diffusion
如果硬件达不到要求,也可以使用各种优化 fork 兼容更低配置的硬件,但生成时间会增长。
iMike
2023/08/08
6210
如何在无 GPU 的 macOS 上运行深度学习文本生成图片模型​ Stable Diffusion
AI绘画专栏之statble diffusion SDXL 1.0 (五)
稳定扩散(Stable Diffusion)是一种用于图像生成的人工智能模型,它基于扩散过程。扩散过程是指,将一个图像经过多次迭代,逐渐变得模糊、扩散的过程。在这个过程中,图像的细节信息会逐渐消失,只保留下整体的结构信息。稳定扩散这个名字来源于这个过程的稳定性,即在扩散过程中,模型能够学习到图像的稳定特征,从而生成具有较高质量的图像。
疯狂的KK
2023/11/09
7900
AI绘画专栏之statble diffusion  SDXL 1.0 (五)
AI绘画SDXL实用笔记
1 ControlNet SDXL1.0模型https://pan.quark.cn/s/8bff6e05dc96
疯狂的KK
2023/10/11
9090
AI绘画SDXL实用笔记
开源图像模型Stable Diffusion入门手册
作者:hking Stable Diffusion 是 2022 年发布的深度学习文字到图像生成模型。它主要用于根据文字的描述产生详细图像,能够在几秒钟内创作出令人惊叹的艺术作品,本文是一篇使用入门教程。 硬件要求 建议使用不少于 16 GB 内存,并有 60GB 以上的硬盘空间。需要用到 CUDA 架构,推荐使用 N 卡。(目前已经有了对 A 卡的相关支持,但运算的速度依旧明显慢于 N 卡,参见: Install and Run on AMD GPUs · AUTOMATIC1111/stable-dif
腾讯技术工程官方号
2023/04/14
9.6K0
开源图像模型Stable Diffusion入门手册
推荐阅读
相关推荐
AI绘画专栏之statble diffusion入门(一)
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档