2018年4月，京东Y事业部对外发布全球首款全自动智能图片合成处理软件——么么照。么么照可实现“发丝级”识别精度的全自动抠图效果，能够满足于买家秀、社交、海报制作等应用场景，未来还将覆盖邀请函、电子名片、直播等静态图片及动态视频的应用。给用户带来更丰富有趣的玩法及全新的互动体验。
么么照以人像抠图为核心，可实时更换背景/贴纸，并支持全身效果合成，由来自于京东美国硅谷研发中心数字科技团队提供了领先的AI及AR技术，可创造出内容更加丰富的创意表达，极低的学习门槛让用户可轻松上手进行创作。目前么么照已发布iOS及Android版本，用户可前往应用商店下载体验。
“发丝级”全自动抠图让创意信手拈来
目前市面上种类繁多的图片美化软件和大部分的抠图App，几乎都是半自动化的，需要用户手动框出人物区域，用户们在选取人物或其他对象时经常有不小的麻烦，需要消耗一定的时间。
么么照解决了用户这一烦恼，规避了其他半自动抠图软件效果差不好控制的问题。采用人工智能算法，将人与复杂背景自动分割，智能识别人体部位与动作，达到发丝级识别精度，用户可通过使用app内置主题背景或自由上传背景，实现万千虚拟场景自由更换，赋予用户沉浸式的深入体验，让图片处理变得富有创意。
么么照在抠图方面采用最先进的深度学习算法对照片进行语义分割，可精准分割出人像与背景，并返回一个由浮点数组成的字符串，字符串内的每个浮点数对应原图的一个像素，浮点数的值代表相应的像素是否在人体轮廓内的置信度。
为了使用户获得最佳的用户体验，么么照针对手机端和服务器端分别采用了轻量级网络和高精度网络来做上百万的数据训练，做到了既精准又轻量化的效果。利用深度学习中的Encoder-decoder模型结合提取到的全局和局部特征，能够对每个像素进行人物、背景分类，得到高精度的人物分离，最后组合成多种处理方法，并对神经网络得到的人体模型，做进一步的细节优化，简单背景下甚至可做到PhotoShop级别的精度。
为了增加图片的趣味性，么么照还在抠图选取过程中加入了人体关键点检测，例如检测到图像中人体肩膀的位置，可自动搭配翅膀等梦幻元素，还可自动更换背景、识别背景颜色。同时通过后台算法可以检测到图像中服装属性、背景图元素，根据提取的标签信息智能匹配语料，未来更可一秒钟写好配图文章。此项技能作为AI 技术在图片领域的拓展，还能够提取用户全身照片里服装风格信息，可用于用户偏好等标签数据信息梳理。
进击的娱乐化趋向 动态视频实现一键抠图
根据2015 CNNIC数据显示，截止2015年底，在中国30岁以下的网民占比超过一半（54%），20岁以下网民占比24.1%，互联网娱乐继续向低龄群体渗透。这些崛起的90后是各大平台都无法忽视的新兴消费势力，日益成为影响中国互联网未来发展的关键力量。从供需两端看，90后最关注的行业是文娱，而短视频又是对文娱类产业影响最大的部分，深入到产品层面的改变，在产品设计及运营策略等方面各大企业也都在迎合着90后，么么照正是抓住了年轻群体娱乐化的需求，在市面上静态抠图尚不精准的情况下率先进行了动态视频抠图处理的研发。
么么照能够检测到图像中所包含人物中脸的各个关键点位置，捕捉用户脸部形态，进行人脸实时视频抠图，完成82个人脸关键点定位检测深度模型，服务器GPU可达322 fps，手机端（iphone7）GPU为33 fps。在动态抠图方面，后台算法会根据视频输入的每一帧计算出一张二值掩蔽图，通过对大批量视频进行分割训练，保证帧之间的连续性，加上对沙漏型分割网络架构的改进，能够提高并解决视频在手机端的速度问题。
么么照在动态抠图过程中可以识别到点头、摇头、手势等动作，使用神经网络能够做到毫秒级的动效跟踪和贴纸展示，此外在移动中拍摄识别依旧准确。作为全身视频的新颖玩法，适用于体感游戏在短视频平台上的应用，能够让用户真实体验线下Cosplay，例如实时制作出用户翱翔太空、深入火山等效果，同时可以进行一键分享社交圈，实时互动传播。
未来通过与AR技术结合，么么照针对用户对于照片效果美化的需求，还将加入“人脸关键点检测”萌颜+实时抠图功能，并通过美颜与滤镜赋予萌颜效果，不管是静态图片还是动态视频都能带给用户前所未有的视觉体验。
助力京东买家秀 用数据看懂你的美
么么照一方面可满足用户对照片美化处理的个性化需求，还将作为京东在买家秀上的重要基础工具来提供入口，消费者可通过么么照的处理对商品进行更个性化的评价展示，增强B端与C端的互动，提高转化率。同时么么照通过对用户穿衣风格的识别可不断积累用户对服装搭配，色彩偏向等数据，在与京东用户数据打通后，可围绕数据标签展开精准且具有针对性的营销活动，提供给用户更多个性化推荐，以及更适合的活动策略。
京东技术 ∣关注技术的公众号
腾讯云开发者
