字节跳动发布SDXL-Lightning开源模型：秒出高清大图，出图速度提升 10 倍！

“AI绘画技术自诞生以来不断发展，其中最明显的进步之一是图像生成质量的提高，以及出图速度的大幅提升。比如之前介绍过的LCM和SDXL Turbo，仅需1-4步即可完成图像推理，使得模型的出图速度提升了8-10倍。”

最近，字节推出了全新的模型SDXL-Lightning，同样能在几秒内生成1024px的高质量图像，且比LCM和Turbo的质量更上一层楼。今天，就让我们来了解一下Lightning的功能和使用方法。

SDXL-Lightning简介

速度对比示意

原始模型（20 步），SDXL-Lightning 模型（2 步)

i

[https://huggingface.co/ByteDance/SDXL-Lightning](https://huggingface.co/ByteDance/SDXL-Lightning)

SDXL vs Lightning vs Turbo的快速比较工具：

[https://anotherjesse.com/posts/sdxl-lightning/](https://anotherjesse.com/posts/sdxl-lightning/)

SDXL-Lightning模型是基于Stability AI的stable-diffusion-xl-base-1.0模型开发的，采用了一种结合渐进式和对抗式蒸馏的扩散蒸馏方法进行提炼。渐进式蒸馏保留了原模型的图像风格和种类，而对抗式蒸馏则提升了图像生成的质量。这两种方法的结合使得SDXL-Lightning在快速出图和高质量、多样化之间找到了平衡点，即使在快速出图的同时，也能保持较高的图像质量，并且覆盖广泛的图像模式。

SDXL-Lightning 模型可以通过 1 步、2 步、4 步和 8 步来生成图像。推理步骤越多，图像质量越好。

以下是 4 步生成结果——

A girl smiling

A pickup truck going up a mountain switchback

A fish on a bicycle, colorful art

A close-up of an Asian lady with sunglasses

A beautiful cup

Mona Lisa, sketch

A panda swimming

A pickup truck going up a mountain switchback

House in the desert, surreal landscapes

以下是 2 步生成结果——

Furniture design for a living room

A cinematic shot of a baby raccoon wearing an intricate Italian priest robe

A dog with soft fur and bright eyes jumping after a toy, in a cozy living room

A tea cup containing clouds

A family, medium shot

Baby playing with toys in the snow

An old man and a dog are walking in the park

Dragon driving a car

A monkey making latte art

与以前的方法（Turbo 和 LCM）相比，生成的图像在细节上有显著改进，并且更忠实于原始生成模型的风格和布局。

官方提供的对比图显示，在2-8步之间，SDXL-Lightning的生成效果都很不错，质量最稳定的是在8步时，甚至与SDXL模型32步的生成效果相媲美。即使在4步条件下，SDXL-Lightning的图像质量和风格多样性也远超Turbo和LCM模型。

SDXL-Lightning模型发布后很快就实现了在线部署，我们可以免费在网站上测试其出图效果。我录制了一个生成过程的视频，可以看到文字输入后图像马上就发生了变化，反应速度非常快，并且在质量、风格和细节上都保持得相当不错，我相信SDXL-Lightning会进一步推动AI实时绘画技术的发展。

SDXL-Lightning实时生成在线试用：

[https://fastsdxl.ai/]

prompt：a 90s illustration of a dog chasing a butterfly in the autumn forest.

在ComfyUI中使用Lightning模型

模型地址：

[https://huggingface.co/ByteDance/SDXL-Lightning/tree/main]

官方工作流：

[https://huggingface.co/ByteDance/SDXL-Lightning/tree/main/comfyui]

字节目前已经放出了SDXL-Lightning完整的模型和工作流资源，模型包括Checkpoint和Lora两种。

Checkpoint模型分为1步、2步、4步、8步四款，1步虽然出图速度最快，但效果不稳定，因此推荐使用4步或8步。下面以4步模型为例，讲解一下基础用法。

首先下载sdxl_lightning_4step.safetensors大模型，安装到根目录的models/checkpoints文件夹中（如果是和SD WebUI共享资源，则放到WebUI的根目录中）。

将ComfyUI更新到最新版本，然后把comfyui_sdxl_lightning_workflow_full工作流拖入界面中。

需要确认的设置有：Ksampler中的生成步数要与你选择的大模型保持一致，这里我选择的是4步大模型，所以生成步数设置为4步；推荐使用Euler采样器与sgm_uniform调度器。

设置完成后就能开始生成了，经测试生成一张1024*1024px的图片只需要6秒，并且质量非常高。

除了官方的4个大模型，开源社区中DreamShaperXL大模型也已经有了Lightning微调版本，并且其图像质量及风格美学在一定程度上优于官方模型。如果想使用它，工作流同上，对应的参数设置为：CFG为2，采样步数3-6，采样器必须为DMP++ SED Karras，尺寸推荐1024px。

[https://civitai.com/models/112902?modelversionid=354657]

SDXL Lightning Lora模型则有2步、4步和8步三款，它们可以与其他任意SDXL大模型搭配，在提升出图速度的同时保持原模型的风格。具体工作流如下，使用前需要先下载一个LightningLlora模型并安装到根目录的models/lora文件夹中。

除了Comfyui，lllyasviel大神（Controlnet和Fooocus的作者）开发的Stable Diffusion WebUI Forge也实现了对SDXL-Lightning的官方支持，有安装的小伙伴可以去体验一下。参数方面，采样器推荐选Euler SGMUniform，CFG需要为1.0。

这里补充一下WebUI Forge的相关信息。WebUI Forge是基于A1111 WebUI构建的一个高性能平台，它在界面与使用方法上与A1111 WebUI没有任何不同，

主要区别在于：

对低显存用户更友好。以最低的6G显存为例，WebUI Forge的推理速度比A1111 WebUI提升了60~75%，高峰时对显存的占用减少约800MB至1.5GB，最大图像分辨率（不会OOM）增加约3倍，最大图像生成批次（不会OOM）增加约4倍，因此使用时不再会轻易爆显存。

支持更多新的功能。SVD/Z123/masked/Ip-adapter/masked controlnet/photomaker的等功能在A1111 WebUI中目前都无法使用，而WebUI Forge引入了Unet Patcher，可以在新功能出现后及时进行官方支持。

如果你不习惯ComfyUI的节点式界面，又想在WebUI中使用新出的AI功能，那么WebUI Forge就是一个很好的选择，官方Github主页有一键安装包和使用教程，有需要的小伙伴可以自行下载。

WebUI Forge下载安装：

[https://github.com/lllyasviel/stable-diffusion-webui-forge]