你穿衣品味还不如AI，这有一款时尚着装网络模型

机器之心

发布于 2019-09-24 13:49:49

6150

发布于 2019-09-24 13:49:49

文章被收录于专栏：机器之心

机器之心报道

参与：一鸣、李亚洲

有一件衣服的时候，怎样的小改动可以提升其整体的时尚性？近日 UT 奥斯汀、康奈尔大学、乔治亚理工和 Facebook AI 研究中心的研究者提出了一种名为 Fashon ++ 的模型，用于给一件衣服进行改进，以便能够最好地提升其时尚性。

AI 在时尚领域的应用在近几年逐渐增加，很多研究者利用流行的生成模型架构进行人物换衣和自动上妆。一些研究者近来将目光投向了时装设计领域。当有一件成衣时，人们更希望的是对其进行微小的改动，以此提升时装整体的时尚效果，那么 AI 是否可行呢？这篇论文说明，AI 也是可以帮助人们进行时装设计的。

论文地址：https://arxiv.org/abs/1904.09261

AI 一键改衣

在这篇论文中，研究者提出了一个 AI 系统，名为 Fashion++。这是一个使用深度图像生成模型的神经网络，用于识别衣服，并提出对衣服的修改建议。例如，模型会建议对衣服进行移除、添加或移动位置。它也可以对衣服的一部分进行修改，如塞好衬衣或卷起袖子。之前的一些研究中，模型会直接提出整个时装的修改建议，或者提供一个和现有衣服类似的方案。而 Fashion++则会在现有的服装基础上进行修改，使其更有型。

AI 具体会这样为使用者提出时装修改建议。如图所示，左图中，AI 会建议移除掉整体时装中的披肩。在中图中，AI 建议将女士衬衣换成无袖的。在右图中，则建议将衣服挽起一点。

模型

Fashion++ 能够为具体的时装搭配提出建议，这样的模型是基于深度生成网络的。

如图为模型的整体架构。研究人员首先从材质和形状编码器中获得隐式特征。然后使用编辑模块 F++进行计算。在一次编辑之后，形状生成器首先会解码更新过的形状特征，将其还原为一个 2D 分割遮盖，然后研究者利用「区域性质」广播更新的材质特征，将其融合到一个 2D 特征映射中。这一特征映射和更新的分割遮盖会通过一个材质生成器，用于生成出最后更新过的整体时装。

训练过程

在训练之前，系统首先使用了一个分类器，在时装图像数据上学习「有时尚感」的图像。「有时尚感」的图像作为训练用的参考数据，然后研究者从网络中获取了大量的服装信息，将这些图像一步步修改，将其中的时装部分替换为最不相似的其他部分。这样一来，就可以生成很多负样本，用于帮助 AI 学习什么是不时尚的图像。

训练好分类器后，该系统会逐渐更新着装，以使其更时尚。而后，图像生成神经网络会对调整后的新外观进行渲染，即使用变分自编码器生成轮廓，使用条件生成对抗网络（cGAN）生成颜色和图案。此外，该生成器学习到的潜在编码还被用于识别其库存中的哪些服装最能实现该着装方式。

数据集

在此研究中，作者使用 Chictopia10 数据集进行实验。此外，作者们使用了 15930 张图像来训练生成器，12744 张图像训练时尚分类器。

该数据集用于提供时尚图像，而剩余的「不时尚」图像，根据前文所述，是通过网络图像+逐步替换的方式修改的。具体而言，研究者首先使用 Chictopia 全身时装图像（一个正样本），从中选取一部分进行修改，使用一个不同的时装替换掉这个部分。为了提升「不时尚」图片的选择效果，研究者选择的是新时装和被替换部分之间欧几里得距离（用 CNN 提取出的隐向量）最远的那种。