前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >「云毕业照」刷爆朋友圈!AI人脸融合技术谁家强?

「云毕业照」刷爆朋友圈!AI人脸融合技术谁家强?

作者头像
新智元
发布于 2020-06-30 07:28:38
发布于 2020-06-30 07:28:38
3.4K0
举报
文章被收录于专栏:新智元新智元

新智元报道

来源:tencent cloud

编辑:梦佳、舒婷、雅新

【新智元导读】2020,特殊的毕业季,需要特殊的纪念。近日,大厂纷纷推出AI云毕业照,基于人脸识别和人脸融合,提取用户的五官特征,生成多个场景的「靓丽」毕业照。一时间,刷爆毕业生朋友圈。

2020,特殊的毕业季,需要特殊的纪念。

之前看过日本东京的BBT大学使用的「Newme」机器人代替学生参加毕业典礼,就问能不能来点儿阳间的东西

AI才有的仪式感:大家一起云毕业!

没有学士服,没有毕业典礼,也没有了毕业旅行,不过我们还有美美的自己呀。

这个人生的特殊节点还是需要一些仪式感,好在有AI技术可以帮助大家拍「云毕业照」。在每一个值得纪念的校园「隐秘的角落」,为心爱的TA「拍一张照」。

就算秃了也不怕,还有AI帮你修复,还你一个白衣飘飘,明眸皓齿的俊逸少年。

科研十年寒窗苦,一朝成名头已秃

还可以实现性转,微表情也随之变化,细节逼真。

最近,腾讯云推出了一款名叫「云毕业照」的服务,基于腾讯优图的人脸识别算法,采用了人脸融合、人像/人体分割、照片合成等AI视觉技术。一时间,刷爆毕业生朋友圈。

相比传统的「换脸软件」,这项服务生成的效果图更加逼真,并且测试来看,它的素材库非常大,可以提供许多的场景。甚至还可以完成性转,看一看「世界上另一个你」是什么样的。

官微中表示还可以实现多人合影,可以实现师生合影,创意合影等。但是目前试用版只有单人的。

只会3块钱1个人的p图吗?不如试试「人脸融合」!

看到效果图,有网友提出质疑:「这不就是普普通通的p图吗?我们学校的毕业照也是这么p的,3块钱一个人,p了百来块。」

但事实上,这个小程序的「云毕业照」可比p图的自然多了。

p图的原理是采集你的五官和发型,但是你的眼神,表情是不能动的。如果你拍照的原图是咧嘴笑的,那么p图后的成果大概率不能变成抿嘴笑的,因为p图只是把你的五官粘贴上去而已。

「云毕业照」和僵硬的p图就不是很一样。它的原理仅仅是采集了你的五官特征,并不是把你的五官直接暴力的粘贴上去,因此上传不笑的照片也可以生成一张咧嘴笑的照片。

下面以严良同学为例,这是利用人物照生成的一张效果图。

这种技术叫做「人脸融合」。

人脸融合的核心算法是快速精准的定位五官,提取五官的特征,让用户上传的照片和特定形象进行面部层面融合,这样生成的图片既具有用户的五官特点,又呈现了原图像的外貌特征。

人脸融合其实不算特别新奇的技术,很多开源的代码能够让开发者体验到简单的人脸融合。

opencv和dlib相结合可以实现人脸融合,具体的步骤如下:

1)检测面部标记;

2)旋转、缩放和转换第二张图像,使之与第一张图像相适应;

3)调整第二张图像的色彩平衡,使之与第一个相匹配;

4)把第二张图像的特性混合在第一张图像中。

这个算法是基于一篇论文《One Millisecond Face Alignment with an Ensemble of Regression Trees》,它将人脸分为68个像素点去做标记,并利用矩阵变换去进行融合。

除此之外还有利用百度智能云里的人脸识别和Python相结合的人脸融合,就是利用智能云来做五官标记定位,然后在Python上实现融合的算法。

两张图像的融合的算法也很多,这里以利用泊松融合生成「云毕业照」为例。

泊松融合(Poisson Blending)就是图像处理界大名鼎鼎的图像融合算法,自从2003年论文Poisson Image Editing 中提出以后,有很多在此基础上进行改进的研究。

所谓泊松融合,就是把不同的图像的不同部分放在一起,形成一张新的图像。融合得越自然,算法就越好。如同下图的苹果橘子图。

定位到学士服模板中人脸的位置,然后根据人脸掩模做一个泊松融合,就能得到换脸之后的学士服照片了。

虽然这次腾讯云AI的人脸融合算法没有开源,但是算法思路大同小异,一般都是通过大量的测试让算法模型的精准性更高。看了毕业照的效果图之后可以肯定,「云毕业照」的算法还是很优秀的,毕竟相当一部分的性转图都没有让人觉得违和。

但是由于提供的素材背景库相当之多,因此不免出现一些缺陷,主要的吐槽集中在以下两点:

五官位置不可以调整

像素点标记的方式让原图层的五官位置也是固定的,但是人的五官位置因个体差异差别很大,不免出现五官分散的开或者五官挤在一起的情况,就显得相当「失真」。

以马云爸爸为例,马爸爸的五官都是个体偏大的,融合到少女的身上就有些突兀感,感觉撑满了整张脸。

不同造型的成品差异大

有的时候模板生成的照片不好看是因为个人原因,但是有的模板,所有人生成的照片都不是很好看。只能说开发者对不同造型有偏爱吧。

华为旷世抖音:换脸哪家强?

再来看看抖音faceapp、旷视Face++和华为ModelArts如何实现换脸。

旷视Face++人脸融合技术功能演示是基于 Merge API 搭建的。它可以进行人脸检测、83个关键点检测与跟踪、人脸分析、1:1 人脸比对或 1:N 人脸搜索。

和IU照片合成的易洋千玺还是那么帅气...

华为ModelArts目前也奉上了通过人脸融合技术提供云毕业照的实现办法。

在http://119.3.249.156:32123/网站通过上传证件照,通过选择不同学科类别用户可以很轻松地实现身穿学士服的毕业照的合成。上传多张照片,还可以实现一个多人合照的生成。

系统还支持背景替换。

最近在抖音上,一款特效「变身漫画」从明星到路人,堪称全民参与,就有小伙伴把自己的头像变为二次元漫画脸,又萌又酷,吸了一大波粉丝。

除了「变身漫画」,「性别反转」特效也是通过GAN来实现人脸面部特征改变,包括人物的眉眼、口鼻、头发。

帅小伙都可以立刻变成美女,女生也可以通过这个特效一秒变帅哥。

最后,再问一句:

参考链接:

https://cloud.tencent.com/developer/article/1650422

https://cloud.tencent.com/product/facerecognition?from=10680

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-06-28,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 新智元 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
从化学反应中提取跨模态知识进行分子性质预测
今天为大家介绍的是来自Lanqing Li和Jian Li团队的一篇关于分子性质预测的论文。如何有效地表示分子是分子性质预测和药物发现领域长期面临的挑战。文章研究了这个问题,并提出了将化学领域知识,特别是与化学反应相关的知识,纳入到学习有效的分子表示中。然而,化学反应和分子之间的跨模态属性存在显著的挑战。为此,作者引入了一种新的方法,名为MolKD,它在分子性质预测中提取化学反应中的跨模态知识。
DrugAI
2023/09/19
4700
从化学反应中提取跨模态知识进行分子性质预测
Nat. Mach. Intell. |通过反应描述语言连接化学与人工智能
2025年5月13日,中国科学院上海药物研究所郑明月团队在Nature Machine Intelligence杂志在线发表了题为“Bridging Chemistry and Artificial Intelligence by a Reaction Description Language”的研究论文,报道了一种名为ReactSeq的化学反应描述语言,该语言可以编码化学反应中的分子编辑操作,使自然语言处理(NLP)模型在逆合成预测、反应表征和检索、交互问答等方面表现得更为出色。
DrugAI
2025/05/17
1380
Nat. Mach. Intell. |通过反应描述语言连接化学与人工智能
J. Chem. Inf. Model. | 预测化学反应产率面临的挑战
今天为大家介绍的是来自Varvara Voinarovska团队的一篇论文。这篇论文讨论了器学习(ML)在预测化学领域的高级特性(如产率、化学合成的可行性和最佳反应条件)时面临的挑战。这些挑战来源于预测任务的高维性质以及涉及的众多关键变量,包括反应物、试剂、催化剂、温度和纯化过程等。成功开发出可靠的预测模型不仅有助于优化高通量实验,还可以提升现有的逆合成预测方法,并在该领域内的多种应用中发挥重要作用。
DrugAI
2024/02/23
5620
J. Chem. Inf. Model. | 预测化学反应产率面临的挑战
Nat. Mach. Intell. | 少量数据的生成式分子设计
今天介绍苏黎世联邦理工大学Gisbert Schneider团队在nature machine intelligence 2020上发表的论文,该论文利用分子语言模型,结合三种优化方法,可以用少量分子作为数据集训练出一个分子生成模型。
DrugAI
2021/02/01
6070
Nat. Mach. Intell. | 少量数据的生成式分子设计
Nat. Commun. | 迁移学习助力碳水化合物的区域和立体选择性预测
今天给大家介绍的是来自瑞士伯尔尼大学及IBM欧洲研究院联合发表在Nature Communications上的文章。在本文中,作者挑战了用Molecular Transformer模型预测碳水化合物中的区域性和立体选择性反应,实验通过在少量碳水化合物反应的通用模型上进行迁移学习产生特定反应模型解决该问题,最终该模型以惊人的准确性返回预测结果。作者提出迁移学习应适用于任何特定类型。
DrugAI
2021/02/02
6070
Nat. Commun. | 迁移学习助力碳水化合物的区域和立体选择性预测
Nat. Mach. Intel. | 基于广义模板的图形神经网络用于准确的有机反应性预测
本文介绍韩国大田 KAIST 化学与生物分子工程系与人工智能研究生院的Yousung Jung团队2022年9月15日发表在Nature Machine Intelligence的研究成果A generalized-template-based graph neural network for accurate organic reactivity prediction。Yousung Jung团队提出了一个化学驱动的图神经网络,称为LocalTransform,它基于广义的反应模板学习有机反应性,以描述反应物和产物之间的电子构型的净变化。所提出的概念极大地减少了反应规则的数量,并表现出最先进的产物预测精度。除了广义反应模板的内在可解释性外,该模型的高分值-准确率相关性使用户可以评估机器预测的不确定性。
DrugAI
2022/11/28
4890
Nat. Mach. Intel. | 基于广义模板的图形神经网络用于准确的有机反应性预测
Nat. Mach. Intell. | 探索稀疏化学空间的化学语言模型新策略
今天给大家介绍来自不列颠哥伦比亚大学和阿尔伯塔大学联合发表的一篇文章。该文章系统地评估并优化了基于循环神经网络在低数据环境中的分子生成模型。发现该模型可以从更少的例子中学习到健壮的模型。同时,本文还确定了低数据下,得到等学习效果和等质量模型的策略;特别是通过枚举非规范SMILES进行数据增强,并通过学习细菌、植物和真菌代谢组模型来证明这些策略的可用性。并且,本文还对评估生成模型的指标进行了基准测试,发现该领域中许多最广泛使用的指标未能捕获模型质量,同时确定了一些表现良好的指标。
DrugAI
2021/10/11
8610
数据增强和迁移学习策略解决小数据集化学反应预测问题
今天给大家介绍的是浙江工业大学智能制药研究院的段宏亮教授研究团队发表在《Organic Chemistry Frontiers》上的一篇文章《Data augmentation and transfer learning strategies for reaction prediction in low chemical data regimes》。
智药邦
2021/06/07
2.6K0
数据增强和迁移学习策略解决小数据集化学反应预测问题
Nat. Mach. Intell. | 针对多目标优化的分子生成新方法MCMG
今天给大家介绍一篇来自浙江大学侯廷军教授课题组、武汉大学陈曦教授课题组、中南大学曹东升教授课题组和腾讯量子实验室联合发表的一篇文章。该文章提出了多约束分子生成新方法MCMG,通过结合知识蒸馏(Knowledge Distillation)、条件 Transformer(c-Transformer)和强化学习(RL)来生成满足多个约束的分子。c-Transformer用于通过有效学习并将构效关系合并到有偏差的生成过程中来训练分子生成模型。知识蒸馏模型可降低模型的复杂性,便于通过 RL对其进行微调,并增强生成分子的结构多样性。实验证明,MCMG方法可以高效地遍历复杂的化学空间以寻找满足多种性质约束的新型化合物。
DrugAI
2021/10/22
1.1K0
JCIM|MIT团队:从科学文献中自动提取化学反应
近期,麻省理工学院计算机科学与人工智能实验室的Jiang Guo等人在J Chem Inf Model杂志发表文章,介绍了一种从化学文献中提取反应的自动化方法。该方法将这类任务表述为结构预测问题,并通过一个由产物提取和反应角色标记组成的两个阶段的深度学习架构来解决。
智药邦
2022/06/08
2.4K0
JCIM|MIT团队:从科学文献中自动提取化学反应
J.Cheminform| MACCS密钥:在逆合成预测中弥补SMILES的局限性
今天给大家介绍的是韩国江原国立大学Umit V.等人在2021年发表的一篇名为“Substructure-based neural machine translation for retrosynthetic prediction”的文章。随着机器翻译方法的快速改进,神经网络机器翻译开始在逆合成规划中发挥重要作用。作者利用无模板的序列到序列模型,将逆合成规划问题重新转化为语言翻译问题,不像先前的使用SMILES字符串来表示反应物和产物的模型,作者引入了一种新的基于分子碎片的方法来表示化学反应,并使用古本系数进行结果评估。结果表明,与目前最先进的计算方法相比,该方法能获得更好的预测结果。该方法解决了现有的逆合成方法产生无效SMILES字符串等主要缺陷。具体来说,我们的方法预测高度相似的反应物分子的准确率为57.7%。此外,作者的方法得到了比现有方法更稳健的预测。
智能生信
2021/02/04
1.8K0
Chem. Sci. | SynAsk:首个可公开访问的特定化学领域大语言模型
今天为大家介绍的是来自广州国家实验室廖矿标课题组的一篇论文。自然语言处理(NLP)领域随着大语言模型(LLMs)的出现经历了一场变革性的转变,在各种语言任务和应用中掀起了一场革命。将LLMs整合到特定领域可增强其在特定领域的应用能力。值得注意的是,NLP在有机化学领域取得了重大进展,尤其是在预测合成任务方面,为专门针对有机化学领域开发LLMs铺平了道路。本研究介绍了SynAsk,这是一个由AIChemEco公司开发的综合性有机化学特定领域LLM平台。通过使用特定领域数据对LLM进行微调,并将其与思维链方法相结合,SynAsk可以无缝访问我们的知识库和高级化学工具,以问答格式实现功能。这种新颖的方法将微调技术与外部资源整合相结合,形成了一个专门针对有机化学的模型,有助于推动该领域的研究和发现。SynAsk可在https://synask.aichemeco.com上访问,代表了在利用自然语言处理进行合成应用方面的重大进步。
DrugAI
2025/01/02
4690
Chem. Sci. | SynAsk:首个可公开访问的特定化学领域大语言模型
AI提高从头设计的新化合物的可合成性
本文为《Artificial Intelligence in Drug Design》一书第17章的内容,作者是来自Biogen公司生物治疗学和药物学部门的Govinda Bhisetti和Cheng Fang。
智药邦
2022/04/13
1.2K0
AI提高从头设计的新化合物的可合成性
Nat. Comput. Sci. | 化学反应网络和机器学习的机会
今年1月中旬,Nature Computational Science上刊登了一篇名为“Chemical reaction networks and opportunities for machine learing”的文章,此文旨在向读者展示机器学习在化学反应网络中的潜在作用和巨大机遇。
DrugAI
2023/02/17
6760
Nat. Comput. Sci. | 化学反应网络和机器学习的机会
多任务深度学习预测化学反应
今天给大家介绍纽约大学Lu等人在2022年发表的一篇名为“Unified Deep Learning Model for Multitask Reaction Predictions with Explanation”的文章[1]。有机化学是现代多个学科领域的基石,深刻改变着我们生活的方方面面,因此近代以来科研工作者一直致力于探索开发鲁棒性更好的机器学习模型来辅助有机化学合成。
DrugAI
2023/02/13
1.4K0
多任务深度学习预测化学反应
ACS Cent. Sci. | 基于蛋白质结构的有机化学驱动配体设计
今天为大家介绍的是来自Didier Rognan团队的一篇论文。超大型化学空间正在革新早期药物发现中的命中率识别。由于其庞大的规模,这些化学空间无法被完全枚举,因此需要特定的计算工具来导航这些空间,并挑选出可能有趣的命中目标。作者在这里提出一种基于结构的方法来筛选超大型化学空间,首先将商业化学试剂对感兴趣的目标进行对接,然后根据有机化学和拓扑规则以在目标的三维约束条件下枚举出类药化合物。
DrugAI
2024/03/26
1890
ACS Cent. Sci. | 基于蛋白质结构的有机化学驱动配体设计
ICLR 2022 under review|化学反应感知的分子表征学习
今天给大家介绍一篇关于分子表征学习的文章。分子表征学习(MRL)旨在将分子嵌入到实向量空间中。然而,现有的基于SMILES(简化分子线性输入系统)或GNN(图神经网络)的MRL方法要么以SMILES字符串作为输入,难以编码分子的结构信息,要么过度强调GNN结构的重要性,而忽视了其泛化能力。因此,作者提出使用化学反应来协助学习分子表征,其核心思想在于保持分子在嵌入空间中的化学反应的等价性,即强制让每个化学方程式的反应物嵌入和生成物嵌入的总和相等,该限制在保持嵌入空间的有序性和提高分子嵌入的泛化能力中被证明是有效的。此外,该模型可以使用任何GNN作为分子编码器,与GNN结构无关。实验结果表明,这种方法在各种下游任务中都达到了最佳性能,超过了最佳基线方法。
DrugAI
2021/12/01
8570
ICLR 2022 under review|化学反应感知的分子表征学习
Nat. Mach. Intel. | 面向未来药物化学家的Transformers
化学反应可以被归为不同的类别,但在大规模的情况下,确定一个特定的反应属于什么类别并不是一件小事。一项新的研究展示了利用自然语言处理(NLP)的方法对化学反应进行数据驱动的自动分类。
智能生信
2021/03/03
5640
Nat. Mach. Intel. | 面向未来药物化学家的Transformers
GPT模型在化学领域可以做些什么?
今天为大家介绍的是来自Xiangliang Zhang团队的一篇关于GPT能力讨论的论文。大型语言模型(LLMs)在自然语言处理任务中具有强大的能力,并迅速应用于科学、金融和软件工程等各种领域。然而,LLMs在推动化学领域的能力尚不清楚。作者建立了一个包含8个实际化学任务的全面基准,包括1)名称预测,2)属性预测,3)收率预测,4)反应预测,5)逆合成(从产物预测反应物),6)基于文本的分子设计,7)分子描述,和8)试剂选择。我们的分析基于广泛认可的数据集,包括BBBP、Tox21、PubChem、USPTO和ChEBI,有助于在实际化学背景下广泛探索LLMs的能力。作者评估了三个GPT模型(GPT-4、GPT-3.5和Davinci-003)在每个化学任务中以零样本和少样本上下文学习设置下的性能。作者的研究的主要结果是:1)在三个评估模型中,GPT-4的性能优于其他两个模型;2)在需要精确理解分子SMILES表示的任务(如反应预测和逆合成)中,GPT模型表现出较弱的竞争性能;3)GPT模型在与文本相关的解释任务(如分子描述)中展示出强大的能力;4)在可转化为分类或排序任务的化学问题(如属性预测和收率预测)中,GPT模型展现出与经典机器学习模型相当或更好的性能。
DrugAI
2023/09/19
5390
GPT模型在化学领域可以做些什么?
BIB重磅综述 | 深度学习下的逆合成设计
今天给大家介绍的是近期发表在Briefings in Bioinformatics上有关逆合成的一篇综述。近些年,人工智能驱动的药物合成给社会带来极大的便利。逆合成设计在合成化学中占有重要的地位,因而受到了研究人员广泛的关注。本文详细介绍了深度学习背景下逆合成设计的发展历程,包括数据集、模型及常用工具,并且提出了目前深度逆合成设计面临的挑战。
DrugAI
2021/10/21
3K0
BIB重磅综述 | 深度学习下的逆合成设计
推荐阅读
相关推荐
从化学反应中提取跨模态知识进行分子性质预测
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档