新人分享系列-蘑菇街的时尚元素分析

花名：书桓

部门：算法中心图像算法组

入职时间：2016年

主要从事图像算法相关研发工作

1.引言

蘑菇街作为一家时尚的科技公司，将时尚和科技进行结合一直是公司发展的特色和动力。我们致力于用科技的手段更好的理解时尚，为消费者提供优质和个性化的服务。随着人工智能进入无人驾驶、医疗、智能家居等各个领域，将人工智能与时尚进行结合也成了我们工作的重点。

人工智能的前提是海量的数据，蘑菇街作为一家注册用户超过2亿的社会化电商平台，在时尚数据方面有巨大的优势。数据的渠道主要来自于线上平台的数据流量和线下的数据，包括商品的类目属性、用户的浏览和购买、搭配相关的内容和社交以及街拍、红人、达人等。

2.目标检测和时尚元素分析

分析和提取服装中的印花和元素信息，主要包括标签确定和整理、小批量训练样本标注、样本自动扩充、模型训练和优化、模型部署和服务搭建等步骤。技术方面，主要涉及多目标检测、单标签和多标签分类、模型压缩和优化等

标签方面：我们结合运营的专业意见和搜索高频词汇确定了15类印花标签和17类元素标签，这套标签可以充分的表达服装的印花和元素信息。

数据方面:基于蘑菇街网站图片资源，标注少量样本训练初始模型，结合初始模型和关键字信息自动扩充样本，获取大量高质量样本用于模型训练。

算法方面：为了更准确的学习的服装的标签信息，实现细粒度的图像分类，我们可以充分的利用图片中物体和部位的位置和结构信息，实现标签信息的粗提取。高效快速的目标检测算法能够帮助我们快速准确的定位目标区域、获得目标区域的粗粒度的标签，为后续的细粒度分类打下良好的基础。

目标检测任务可分为两个关键的子任务目标：分类和目标定位。目标分类任务负责判断输入图像中是否有感兴趣类别的物体出现,输出一系列带分数的标签表明感兴趣类别的物体出现在输入图像的可能性。目标定位任务负责确定输入图像中感兴趣类别的物体的位置和范围,输出物体的包围盒,或物体中心,或物体的闭合边界等,通常方形包围盒是最常用的选择。分类子任务能够提供提供粗粒度的标签信息，目标定位子任务能够快速定位目标区域，可以作为细粒度分类的预处理阶段。高速、高精度、多尺度能够很好的兼顾大小目标是算法的难点和重点。我们采用SSD目标检测框架，用Resnet18作为基础特征提取模型，在部署阶段对模型进行去BN等优化，从而实现模型的加速。我们的模型可以在70ms以内完成多目标检测，精度(MAP)超过95%，能够很好的兼顾大小目标的检测。

印花和元素分类方面，采用最新的121层densenet网络。由于dense结构特征重用机制，整体模型只有27M,利用MXNET框架内存复用的机制，densenet模型部署在MXNET框架上可以实现低显存占用。印花和元素分类可以在50ms以内，达到超过90%的top1准确率。具体算法流程如图1所示。

工程方面：供统一的http服务调用，服务中部署了目标检测模型以及印花和元素分类模型，整体处理一张图片的时间为150ms左右。

图1 时尚元素分析算法流程

3.搭配自动筛选

蘑菇街商家上传的商品图中有大量商家精心挑选的搭配, 搭配自动筛选方案从商品图中自动选择搭配方案，并且提供上衣、裤子、鞋子等部位提供搜相似商品的功能，从而实现给用户提供搭配方案并且引导用户购买整套搭配的功能。

搭配自动筛选方案主要包括以下几个步骤：从商品图中筛选全身搭配商品、根据目标检测结果截取商品封面图、根据衣服、裤子、包包、鞋子等部位检测结果搜索相似商品等。涉及到的技术包括多目标检测、图像搜索等。目前搭配自动筛选整体流程已经上线，落地于红人穿搭(搭配课堂)、搭配TAB、蘑菇街每日搭配小程序、蘑菇街每日精选小程序等场景。

图2 蘑菇街主站穿搭课堂

图3蘑菇街每日搭配小程序

图4 相似搭配商品

如图3所示是搭配自动筛选方案在APP主站穿搭课堂和蘑菇街每日搭配小程序的应用。封面图所示为算法筛选出的全身搭配方案，以蘑菇街搭配购的形式推荐给用户，从中可以清楚的看到整体的搭配效果。如图4所示是根据为根据目标检测和找相似功能，找到的搭配商品，用户可以通过搭配商品购买整套搭配。

4.工作小结

除了以上工作，我还参与了在直播中应用的人脸检测和特征点定位、图像实拍搜索等项目。图像算法组内的同事经验丰富并且非常热心，我从中学到了很多宝贵的经验。

1、要和组内的同事多交流多学习、很多想法和解决问题的方法都是在交流和讨论中获得的，经常交流和分享对我们应届毕业生的成长大有裨益。

2、要跟进学术界和业界的最新进展和动态，多做尝试，做到眼快手快，有新的想法就马上去尝试，久而久之，就会形成对某个领域的浓厚兴趣，这是我们不断成长进步源源不断的动力。

3、对于具体的项目和具体业务要有自己的思考，要细心的考虑从算法到工程的每一个细节，确保自己的方法和idea可以在应用场景中解决相应的问题。

更多流量、广告、搜索、算法相关内容, 敬请关注“美丽联合数据技术”公众号