虚拟试衣技术发展综述：从应用到开源资源

虚拟试衣是通过虚拟的技术手段，实现用户不用脱去身上衣服，完成变装的效果。最初，起源于换装游戏，随着互联网的普及和电子商务的兴起，消费者对在线购物体验的需求不断增加，虚拟试衣技术因此得到了快速发展。现如今，虚拟试衣技术多应用于：

1. 电子商务：为用户提供在线试穿服务，提升购物体验，减少退货率。
2. 服装设计：帮助设计师快速试验不同设计方案，降低样品制作成本。
3. 游戏和娱乐：在游戏和虚拟现实中为角色定制服装，增强沉浸感。

尽管虚拟试衣技术已经取得了显著进展，但仍然面临一些挑战：

1. 数据采集和处理：高质量的3D人体和服装数据获取难度大，且处理复杂。如何高效地采集和处理这些数据是一个亟待解决的问题。
2. 实时性：实现流畅的实时试穿效果需要强大的计算能力。当前的计算资源限制了虚拟试衣技术的实时应用。
3. 细节表现：高精度地模拟服装的材质、纹理和物理特性仍具有挑战性。特别是对于一些复杂面料的表现，现有技术仍有改进空间。
4. 用户接受度：如何提升用户的使用意愿和信任度也是一个关键问题。

为了帮助研究人员更好地开展相关领域的工作，本文整理了一些虚拟试衣相关的开源数据集、模型和项目。这些资源可以为研究人员提供丰富的素材和工具，推动虚拟试衣技术的发展。

GP-VTON

GP-VTON 是一种通过协作局部流全局解析学习实现通用虚拟试穿的方法，可以在复杂的自遮挡场景中生成语义正确和照片逼真的试穿结果，并且可以轻松扩展到多类别场景。

• 论文链接：https://arxiv.org/pdf/2303.13756
• 项目链接：https://github.com/xiezhy6/GP-VTON

OOTDiffusion

OOTDiffusion 是基于 Stable Diffusion 的模型微调，用于实现现实且可控的基于图像的虚拟试穿（VTION）。可以根据不同性别和体型调整服装，支持半身和全身模型，效果接近商用！

• 论文链接：https://arxiv.org/abs/2403.01779
• 项目链接：https://github.com/levihsu/OOTDiffusion
• 体验链接：https://huggingface.co/spaces/levihsu/OOTDiffusion

TryOnDiffusion

TryOnDiffusion 可以将两幅图片合成，帮助照片中的人物更换不同的服饰。不同于传统方法，TryOnDiffusion 基于并行 UNet 的扩散式架构，在保留更多细节的情况下让服装和真人模特相结合，可呈现出更自然的试穿效果。

• 研发单位：谷歌；华盛顿大学
• 论文链接：https://arxiv.org/abs/2306.08276
• 项目链接：https://github.com/tryonlabs/tryondiffusion

DiOr（Dressing in Order）

Dressing in Order（按顺序穿衣）一个灵活的人物生成框架，支持2D 姿态迁移、虚拟试衣、服装编辑任务。其关键在于使用新的循环生成网路，将衣服按顺序穿到一个人身上，顺序不同，结果不同。

• 论文链接：https://arxiv.org/abs/2104.07021
• 项目链接：https://github.com/cuiaiyu/dressing-in-order

M3D-VTON

M3D-VTON 是一种计算效率很高的单目到三维虚拟试穿网络，借鉴了二维和三维方法的优点，从二维信息中生成三维试穿网格。

• 论文链接：https://arxiv.org/abs/2108.05126
• 项目链接：https://github.com/fyviezhao/M3D-VTON

数据集

单品类虚拟试穿数据集

VITON-HD

特点：

• 纯白背景
• 品类：上衣
• 尺寸：13679 件衣物和 27358 张人模图像
• 分辨率：1024 × 768

收录于 CVPR 2021。

• 论文链接：https://arxiv.org/abs/2103.16874
• 数据集链接：https://github.com/shadow2496/VITON-HD?tab=readme-ov-file#dataset

FashionTryOn

特点：

• 尺寸：28714个三元组，每个三元组包含一个服装项目图像和两个不同姿势的模特图像，共计 86142 张图像
• 分辨率：256 × 192

收录于ACM Multimedia 2019。

• 论文链接：https://zhennaziyu.github.io/homepage/fp452-zhengA.pdf
• 数据集链接：https://fashiontryon.wixsite.com/fashiontryon

MPV

特点：

• 尺寸：35687 张人物图片和 13524 张衣服图像，每张人物图片都有不同的姿势
• 分辨率：256 × 192

• 论文链接：https://arxiv.org/abs/1902.11026
• 数据集链接：https://drive.google.com/drive/folders/1e3ThRpSj8j9PaCUw8IrqzKPDVJK_grcA

StreetTryOn

特点：

• 街景背景
• 尺寸：从大型时尚检索数据集 DeepFashion2 中筛掉超过 90% 的不适用于试穿任务的图像（例如非正面视图、大遮挡、黑暗环境等），由 12364 张用于训练的街头人物图像和 2089 张用于验证的街头人物图像组成。

• 论文链接：https://arxiv.org/pdf/2311.16094.pdf
• 项目链接：https://cuiaiyu.github.io/StreetTryOn/

多品类虚拟试穿数据集

Dress Code Dataset

特点：

• 纯白背景
• 尺寸：53792 件衣物和 107584 张穿着它们的人模图像
• 品类：上衣、下装、裙子
• 分辨率：1024 × 768

相较于单品类，它更加完善了验证虚拟试衣算法的有效性。

• 论文链接：https://arxiv.org/abs/2204.08532
• 数据集链接：https://github.com/aimagelab/dress-code

随着电商的普及，用户对虚拟试衣效果的要求日益精美，这使得所需的算力要求不断提高。