[AIGC服务]TryOn虚拟试衣 | 只需照片即可在线换衣

⚡[AIGC服务]TryOn虚拟试衣 | 只需照片即可在线换衣

本文介绍基于Diffusion虚拟试衣应用，即用户只需要上传一张单人照片和一张衣服照片，就能实现人穿衣服效果图像。 虚拟试穿技术允许用户在线上购物时预览服装在自己身上的效果，从而提高购物体验并减少退货率。

---

💎 先睹为快

三列从左到右分别表示：人 + 衣 = 试穿效果

01 上衣效果

02 下衣效果

03 裙子效果

🥼 效果对比

• 看Ours最后一列，其它为参考对象

Look Ours

Look Ours

Look Ours

👕 应用价值

虚拟试穿技术允许用户在线上购物时预览服装在自己身上的效果，从而提高购物体验并减少退货率。

1. 电子商务：虚拟试穿技术可以帮助服装零售商通过提供更直观的购物体验来吸引顾客，尤其是在疫情期间，线下试穿受限的情况下。
2. 个性化推荐：结合用户的身体尺寸和偏好，可以生成个性化的试穿图像，帮助用户做出更满意的购买决策。
3. 时尚设计：设计师可以利用这种技术快速预览服装设计在不同体型和姿势下的效果，从而加速设计过程并提高效率。

总之，虚拟试穿不仅能够提升在线购物的体验，还可能推动时尚产业的数字化转型。随着技术的不断进步，未来可能会出现更多创新的应用和服务。

👢 相关工作

基于图像的虚拟试穿（VTON）技术和基于潜在扩散模型（LDM）的可控图像生成技术。

01 基于图像的虚拟试穿技术

1. GANs（生成对抗网络）：早期的VTON方法主要基于GANs，这是一种通过对抗训练生成逼真图像的技术。GANs包括一个生成器和一个判别器，生成器负责生成图像，判别器负责区分生成图像和真实图像。这些方法在生成服装褶皱、自然光影和真实人体方面存在挑战。
2. LDMs（潜在扩散模型）：为了提高生成图像的真实感，研究者开始探索基于LDMs的VTON方法。这些方法通过在潜在空间中逐步去噪来生成图像，相较于GANs，LDMs在保留服装细节特征方面表现更好。
3. 数据集和评估：VTON技术的发展伴随着多个数据集的创建，如VITON-HD和Dress Code，这些数据集提供了高分辨率的人体和服装图像，用于训练和评估VTON模型。

02 基于潜在扩散模型的可控图像生成技术

1. 文本到图像的生成：LDMs在文本到图像的生成任务中取得了显著成功，能够根据文本描述生成高质量的图像。
2. 图像到图像的生成：LDMs也被用于图像到图像的转换任务，如风格迁移、图像修复和超分辨率。
3. 可控性增强：为了提高生成图像的可控性，研究者提出了多种技术，如Prompt-to-Prompt、Null-text Inversion和InstructPix2Pix，这些技术通过修改输入提示或文本指令来精细控制生成结果。
4. 空间条件控制：ControlNet、T2I-Adapter和IP-Adapter等技术通过将额外的控制信息集成到预训练的扩散模型中，实现了对生成图像的空间条件控制。

👗 技术亮点

workflow

通过服装UNet、服装融合和服装丢弃，虚拟试衣能够在生成逼真的虚拟试穿图像的同时，提供对服装特征的精细控制。这些技术的结合使得在虚拟试穿任务中表现出色，尤其是在处理高分辨率图像和复杂服装类型时。

01 服装网络

服装UNet 是专门用于学习服装细节特征的网络结构。它的设计目的是在潜在空间中高效地捕捉服装的纹理、颜色、图案等细节信息。这个网络的工作流程如下：

1. 输入：服装UNet接收服装图像的潜在表示作为输入，这些表示是通过变分自编码器（VAE）编码得到的。
2. 特征学习：网络通过一系列卷积层和非线性激活函数来提取服装的特征表示。这些特征表示捕捉了服装的视觉细节，如纹理和图案。
3. 输出：服装UNet的输出是服装的特征图，这些特征图随后将被整合到去噪UNet中，以便在生成过程中保留服装的细节。

02 服装融合

服装融合是用于将服装特征与目标人体图像对齐的技术。它在去噪UNet的自注意力层中实现，具体步骤如下：

1. 特征图拼接：在去噪UNet的自注意力层中，将目标人体的特征图与服装的特征图在空间域上进行拼接。
2. 自注意力机制：通过自注意力机制，网络能够学习到哪些区域的注意力应该集中在人体上，哪些区域应该集中在服装特征上。这样，服装特征被隐式地“变形”以适应人体的形状。
3. 特征图裁剪：从自注意力层的输出中裁剪出第一部分特征图作为最终输出，这部分包含了与人体对齐的服装特征。

03 服装丢弃

服装丢弃是一种训练策略，用于增强模型在生成过程中对服装特征的控制能力。它的工作原理如下：

1. 随机丢弃：在训练过程中，网络随机地将一部分输入的服装潜在表示设置为零。这意味着网络在某些时候会在没有服装特征信息的情况下进行训练。
2. 条件与非条件训练：这种随机丢弃导致网络同时进行有条件和无条件的训练。有条件的训练有助于学习服装特征，而无条件的训练则鼓励网络生成逼真的人体背景。
3. 指导比例尺：在推理时，可以通过调整一个称为指导比例尺的参数来控制生成图像中服装特征的显著性。较高的指导比例尺值会使服装特征更加突出，而较低的值则会减弱这些特征。

🥻 免费试用

01 试用链接

• 浏览器链接: https://1bafc9bee277da1a81.gradio.live
• 后台回复关键词即可获取最新链接：虚拟试衣

02 温馨提示

1 照片要求

• Half-body 表示半身，包含部分腿，主要是针对上半身衣服试穿

Half-body

• Full-body 表示全身，包含完整的腿，可以分别针对上半身衣服、下半身裤子、全身裙子试穿

Full-body

• 无论是人体还是服装，都需要单人或者单件，且背景尽量为纯色，最好是干净的白底

2 效果调优

• 如果生成效果不理想，可以调节images或者seed，进行多次生成，直到您满意为止

03 实操教程

1 上传人体照片

2 上传衣服照片

3 生成试衣照片