Loading [MathJax]/jax/input/TeX/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >华人打造二次元老婆生成器!尔康容嬷嬷成萌妹,图像视频都能变 | Demo可玩

华人打造二次元老婆生成器!尔康容嬷嬷成萌妹,图像视频都能变 | Demo可玩

作者头像
量子位
发布于 2021-07-19 07:12:27
发布于 2021-07-19 07:12:27
5830
举报
文章被收录于专栏:量子位量子位
杨净 发自 凹非寺 量子位 报道 | 公众号 QbitAI

当你的女朋友变身二次元,是什么样子?

小声说:没有女朋友。

搞错了,再来!

你下一个二次元老婆,可能是真人生成的!

即便是容嬷嬷本嬷,也能瞬间变温婉~

还有辣个清秀的尔康,也瞬间变身短发萌妹。

只需一张照片、甚至视频就可以生成二次元老婆。

不管是萝莉风、御姐风、甚至女王风,统统都可以!

对此有网友评论道:我的生活完整了。

如何实现?

这样一个生成器,叫做GANs N’ Roses,以下就简称GNR。

嗯?跟Guns N’ Roses (枪炮玫瑰)有什么关系。

按照论文标题所言,要比以往的图像转换技术更稳健、更可控,以及更多样。

GNR,由一个编码器和解码器组成。

编码器将图像分解为内容代码c和风格代码s,解码器接收一个内容码和一个样式码,产生相应的图像。

运行时,把图像传给编码器,保留产生的内容代码,获得一些其他相关的风格代码,然后把这对代码传给解码器。

那具体什么才是内容、以及风格?GNR的关键思路,是将内容定义为事物的位置,风格定义为为它们的样子。

就像这样。即使是同一种风格,也有不同的演绎。

对于一个特定的风格码,包括眼睛、下巴、鼻子、头发颜色等细节,都有很强的一致性。

但就像头部倾斜度、脸部形状、发型等细节,则是由内容码控制的。

损失函数总共有三类:风格一致性损失、循环一致性损失、多样性判别器和对抗损失。

与其他SOTA框架对比,GNR在多样性、图像质量等多个指标上都有明显的改进。

直接放图来比较,则更为明显。

最后,研究人员发现,在没有额外训练的情况下,GNR对于视频之间的转换也同样适合。

目前,GNR已经在GitHub开源,并上线了Demo试玩链接。

我试了试,似乎目前只有一种风格。

但依然挡不住网友直呼:So cool!

团队成员

团队成员均来自美国伊利诺伊大学厄巴纳-香槟分校。

一作华人Min Jin Chong,本科从美国伊利诺伊大学毕业后,继续留校读博,此前曾在字节实习3个月。

另一位作者、他的导师David Forsyth是知名CV大牛,曾与Jean Ponce 合著的《Computer Vision:A Modern Approach》,堪称计算机视觉经典教材。

好了,感兴趣的旁友,可戳下方链接哦~

试玩链接: https://gradio.app/g/AK391/GANsNRoses 论文链接: https://arxiv.org/abs/2106.06561 参考链接: [1]https://twitter.com/ak92501/status/1404614429023539201 [2]https://github.com/mchong6/GANsNRoses

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-06-20,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 量子位 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
人人皆可二次元!小姐姐生成不同风格动漫形象,肤色、发型皆可变
机器之心报道 编辑:杜伟、陈萍 一张输入人脸图像,竟能生成多样化风格的动漫形象。伊利诺伊大学香槟分校的研究者做到了,他们提出的全新 GAN 迁移方法实现了「一对多」的生成效果。 在 GAN 迁移领域,研究人员可以构建一个以人脸图像为输入并输出人脸动漫形象的映射。相关的研究方法已经出现了很多,如腾讯微视此前推出的迪士尼童话脸特效等等。 在迁移过程中,图像的内容(content)部分可能会被保留,但风格(style)部分必须改变,这是因为同一张脸在动画中能以多种不同的方式表示。这意味着:迁移过程是一个一对多的映
机器之心
2023/03/29
5180
人人皆可二次元!小姐姐生成不同风格动漫形象,肤色、发型皆可变
万物皆可JOJO:这个GAN直接让马斯克不做人啦 | Demo可玩
这就一下子引来了大批网友的围观,不仅推特热度800+,在线试玩的抱抱脸(Hugging Face)还排起了队,一张照片最多要等四五分钟。
量子位
2021/12/29
2.2K0
万物皆可JOJO:这个GAN直接让马斯克不做人啦 | Demo可玩
一个普通摄像头就让二次元老婆“活”了过来,网友:求收费
这还不算完,更让网友们直呼“离谱”的是,这样的视频动作捕捉AI,只要你有一台电脑+一个RBG摄像头,就能直接抱回家。
量子位
2021/11/23
1K0
一个普通摄像头就让二次元老婆“活”了过来,网友:求收费
动手画个二次元老婆,上科大团队这个APP刚上线就火出圈,网友:我学废了
机器之心报道 编辑:蛋酱、小舟 AI 虽然能帮你完成大多数工作,但作画也是需要一定技巧的。或者说它可以让你的所有想法暴露在光天化日之下。 想给自己画个二次元老婆,但发现自己是个手残,怎么办? 问题不大,这里有个神器,你只需要涂抹出轮廓,剩下的交给 AI: 二次元老婆生成器的名字叫做「WAND」,现在已经在苹果应用商店上线了,目前提供 iPhone 和 iPad 两类设备的限时免费下载,登上了AppStore图形与设计榜下载量Top1。 「WAND」刚发布就火出了圈,在社交网络上看,很多人已经率先试用了
机器之心
2023/03/29
4290
动手画个二次元老婆,上科大团队这个APP刚上线就火出圈,网友:我学废了
刷屏朋友圈的QQ小世界二次元生成器原理解密
作者:yichaozhou,腾讯 PCG 应用研究员 只需要上传一张照片,一键即可穿越二次元。火遍国内外的 QQ 小世界二次元生成器——“异次元的我“背后原理解密。 1 项目介绍 今年是人工智能领域成果井喷的一年,前有 AI 画画后有 chatGPT,纷纷迅速走红网络。早在今年五月,QQ 影像中心推出的国内第一款基于 AI 画画技术的”AI 恋爱专属画”520 活动就在小世界走红,最近新推出的“异次元的我”二次元形象生成器更是火遍国内外。 你可以看到罗翔老师一键变身霸道总裁: 甚至能看到 KFC 官推亲自
腾讯技术工程官方号
2022/12/26
1.2K0
刷屏朋友圈的QQ小世界二次元生成器原理解密
一键让二次元老婆微笑,还能把猫脸变成狗脸,这篇CVPR 论文真有趣
阿这,等一等,让我来捋一下:老虎—>>猫——>>狗——>>狼,这岂不是说,老虎==狼了?
公众号-arXiv每日学术速递
2021/07/02
5490
一键让二次元老婆微笑,还能把猫脸变成狗脸,这篇CVPR 论文真有趣
视频版GPT!这个华人博士生发布基于Transformer的视频生成器,ICML2021已发表
Transformer已经成了当下「最牛」的基础模型,在NLP、CV领域无往而不利。一些基于Transformer预训练模型BERT、GPT对于下游任务,如问答、阅读理解、文本摘要等都有很好的促进作用。
新智元
2021/08/25
8420
真·大一统!AI2南邮校友等打造Unified-IO 2:首个视觉/语言/音频/动作多模态模型
来自艾伦人工智能研究所、伊利诺伊大学厄巴纳-香槟分校、华盛顿大学的学者提出了Unified-IO 2。
新智元
2024/01/04
3830
真·大一统!AI2南邮校友等打造Unified-IO 2:首个视觉/语言/音频/动作多模态模型
ECCV 2018 | 腾讯AI Lab解读19篇入选论文
本文转载自腾讯AI实验室 计算机视觉欧洲大会(European Conference on Computer Vision,简称ECCV)将于9月8日-14日在德国慕尼黑举办,该会议与CVPR、ICCV共称为计算机视觉领域三大顶级学术会议,每年录用论文约300篇。 今年是腾讯AI Lab第二次参加ECCV,共有19篇文章入选,以下为摘要解读。 在近期结束的多个顶会中,腾讯AI Lab还有多篇论文入选,位居国内企业前列,包括ACL 2018 (5篇)、ICML 2018(16篇)、CVPR 20
腾讯高校合作
2018/08/02
9080
【专知荟萃08】图像描述生成Image Caption知识资料全集(入门/进阶/论文/综述/视频/专家等)
【导读】主题荟萃知识是专知的核心功能之一,为用户提供AI领域系统性的知识学习服务。主题荟萃为用户提供全网关于该主题的精华(Awesome)知识资料收录整理,使得AI从业者便捷学习和解决工作问题!在专知人工智能主题知识树基础上,主题荟萃由专业人工编辑和算法工具辅助协作完成,并保持动态更新!另外欢迎对此创作主题荟萃感兴趣的同学,请加入我们专知AI创作者计划,共创共赢! 今天专知为大家呈送第八篇专知主题荟萃-图像描述生成Image Caption知识资料大全集荟萃 (入门/进阶/论文/综述/视频/专家等),请大家
WZEARW
2018/04/10
3.5K0
Python 迁移学习实用指南:6~11
在计算机视觉的保护下,图像识别是一个活跃的跨学科研究领域。 顾名思义,图像或对象识别是识别图像或视频序列中的对象的任务。 传统上,该领域利用数学和计算机辅助建模以及对象设计方面的进步。 这些年来,已经开发了一些手工标注的数据集,以测试和评估图像识别系统。 我们现在称它们为传统技术,一直统治着整个场景,并且不断地改进这项任务,直到最近。 2012 年,深度学习参加了 ImageNet 竞赛,为快速改善和进步计算机视觉和深度学习技术打开了闸门。
ApacheCN_飞龙
2023/04/23
1.8K0
机器学习学术速递[12.23]
【1】 Graph augmented Deep Reinforcement Learning in the GameRLand3D environment 标题:GameRLand3D环境下的图形增广深度强化学习 链接:https://arxiv.org/abs/2112.11731
公众号-arXiv每日学术速递
2021/12/27
1.3K0
人工智能学术速递[7.16]
【1】 A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification 标题:温文尔雅地介绍保角预测和无分布不确定性量化
公众号-arXiv每日学术速递
2021/07/27
1.6K0
机器学习学术速递[12.10]
【1】 Wikidated 1.0: An Evolving Knowledge Graph Dataset of Wikidata's Revision History 标题:维基百科1.0:维基数据修订历史的进化知识图数据集 链接:https://arxiv.org/abs/2112.05003
公众号-arXiv每日学术速递
2021/12/10
1.6K0
机器学习学术速递[12.7]
【1】 Distance and Hop-wise Structures Encoding Enhanced Graph Attention Networks 标题:增强型图注意网络的距离和跳数结构编码 链接:https://arxiv.org/abs/2112.02868
公众号-arXiv每日学术速递
2021/12/09
1.3K0
上帝掷骰子吗–量子物理史话
大家好,又见面了,我是你们的朋友全栈君。   上帝掷骰子吗–量子物理史话   第一章黄金时代   一   我们的故事要从1887年的德国开
全栈程序员站长
2022/06/26
7.5K0
推荐阅读
相关推荐
人人皆可二次元!小姐姐生成不同风格动漫形象,肤色、发型皆可变
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档