Loading [MathJax]/jax/input/TeX/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >实景照片秒变新海诚风格漫画:清华大学提出CartoonGAN

实景照片秒变新海诚风格漫画:清华大学提出CartoonGAN

作者头像
朱晓霞
发布于 2018-07-23 02:28:58
发布于 2018-07-23 02:28:58
7650
举报

使用漫画风格重现现实世界的场景对于画师来说是一项费时费力——很多时候却又不得不做的工作。AI 能不能帮助我们解决这个麻烦?近日,来自清华大学、卡迪夫大学的研究者们提出了 CartoonGAN,它可以用真实景物的照片作为源图片,生成任意风格的「漫画」,从新海诚到宫崎骏……只要拿来一组带有所需风格的示例漫画图片训练之后即可开始「转换」。该研究的论文已被 CVPR2018 大会接收。

CartoonGAN 的预训练模型,其中包括宫崎骏、细田守、今敏(动画电影《红辣椒》)和新海诚风格:http://cg.cs.tsinghua.edu.cn/people/~Yongjin/CartoonGAN-Models.rar

漫画是在日常生活中我们能够广泛接触到的一种艺术形式。除了艺术本身之外,它的适用范围从出版媒体到儿童教育。和其他艺术形式一样,很多著名的漫画形象都是基于现实世界的场景创作的。下图展示了真实世界火车站的场景,在动画电影《你的名字。》中也出现了相应的漫画形象。

然而,使用卡通风格手绘重现现实世界的场景是一个费时费力的工作,而且需要很多专业的绘画技能。为了获得高质量的画面,原画作者必须仔细绘制每个线条,并对目标场景的每种颜色区域进行涂色。目前看来,具有标准特征的现有艺术编辑软件和算法无法产生令人满意的漫画效果。因此,如果有专业技术能够自动将真实世界的照片转换为高品质的漫画风格画面,对于画师来说是非常有帮助的一件事:这可以为他们节省大量时间,让他们专注于更有意义和创造性的工作。风格迁移工具也可以为 Instagram 和 Photoshop 等图像编辑软件提供新功能。

图 1. 漫画风格的一个示例:(a)是真实世界的一个场景,其漫画形象出现在动画电影《你的名字。》中。(b)是 CartoonGAN 将照片转换为漫画风格的结果。请注意:模型训练数据中并不包含任何《你的名字。》电影中的图片。

以艺术方式对图片进行处理的研究一直是计算机视觉的热门方向。此前的传统方式通常针对特定样式开发特定的算法。然而,这意味着需要做出大量技术上的努力才能做出模仿个人艺术家的细致风格。最近,基于机器学习的风格迁移方法,因为其可以通过示例图片对图像进行风格化,已经引起了很多人的关注。特别是生成对抗网络(GAN),其引入了循环方式训练进一步探索并提高了风格迁移的质量,GAN 的独特之处在于可以使用不成对照片和风格化图像进行训练。

尽管基于学习的风格迁移已经获得了很大成功,但最先进的方法仍无法生产具有可接受质量的漫画风格图像。究其原因,首先,漫画风不是添加纹理和边界线,而是需要从现实世界图像的复杂构造中高度简化;其次,尽管艺术家之间风格各异,但卡通图像具有一些明显共通之处:边缘清晰、颜色遮罩平滑、质地相对简单——这与其他形式的艺术作品截然不同。

在论文中,清华大学的研究人员提出了 CartoonGAN,一个基于 GAN 的全新照片漫画化方法。该方法需要一组照片和一组漫画图像进行训练。为了让训练数据易于获得,同时获得高质量的结果,我们不需要让两组图像互相配对或对应。从计算机视觉算法的角度来看,漫画风格化的目标是将照片流型映射到漫画流型中,同时确保其中的内容不变。为了实现这个目标,研究人员提出了专用的 GAN 架构,以及两个简单有效的损失函数。

研究人员称,CartoonGAN 的主要贡献在于:

  1. 提出了一个专用的基于 GAN 的方法,可以有效地学习使用不成对的图片集进行训练,对现实世界照片和漫画图像建立映射。新方法可以生成高质量的风格化漫画,这大大超越了现有最佳技术的能力——当来自特定艺术家的漫画图像被用于训练时,新方法可以忠实重现他们的风格。
  2. 在基于 GAN 的体系结构中提出两种简单而有效的损失函数。在生成网络中,为了应对照片和漫画之间的实质风格差异,研究人员在 VGG 网络的高级特征映射中引入了定义为ℓ1 的稀疏正则化语义损失。在鉴别器网络中,作者提出了推进边缘的对抗损失,以保证清晰的边缘。
  3. 作者进一步引入了一个初始化阶段来改善网络到目标流形的收敛。新的方法比现有的训练方法效率要高很多。

在 CartoonGAN 中,生成器网络 G 用于将输入图像映射到漫画流型中。在模型经过训练后,漫画风格化任务就可以执行了。G 从平卷积阶段开始,随后是两个下卷积区块,以对图像进行空间压缩和编码。在这个阶段提取有用的本地信号用于下游转换。随后使用相同布局的八个残差区块来构建内容和流形特征。研究人员采用了《Perceptual losses for real-time style transfer and super-resolution》中提出的残差块布局。最后,通过两个上卷积块重构输出的漫画风格图像,这两个卷积块包含步长为 1/2 的分步卷积层和一个 7×7 内核的最终卷积层。

为了与生成器网络形成互补,鉴别器网络 D 用于判断输入图像是否是「真实的」漫画图。由于判断图像是否为漫画是个要求不高的任务,因此我们使用 D 中参数较少的简单补丁级鉴别器,而不是常规全图鉴别器。与图像分类任务不同,漫画风格鉴别任务依赖于图像的局部特征。所以,鉴别器网络 D 被设计得较浅。在平层之后,网络采用两个步进卷积块来降低分辨率并编码用于分类的基本局部特征。随后,使用特征构造块和 3×3 卷积层来获得分类返回。在每个归一化层之后使用α = 0.2 的 Leaky ReLU。

图 2. CartoonGAN 架构中的生成器与分类器网络,其中 k 是内核大小,n 是特征映射的数量,s 是每个卷积层的跨步,'norm'表示归一化层,'ES '表示元素之和。

图 5. CartoonGAN 生成的不同艺术家漫画风格:(a)为输入照片。(b)为新海诚风格。(c)为宫崎骏风格。

图 6. 边缘生成的细节。(a)为 NST 使用训练集中所有图像训练后的风格转换结果;(b)为 CycleGAN 在同一性损失参数下的结果;(c)为 CartoonGAN 的结果。

图 7. CartoonGAN 与 NST 和 CycleGAN 在新海诚(上)和宫崎骏(下)风格转换上的比较。Gatys(image 1)和 Gatys(collection)是两个 NST 的变种,其分别将输入照片与内容密切近似的漫画图片进行训练,并输出结果。

论文:CartoonGAN: Generative Adversarial Networks for Photo Cartoonization

论文链接:http://203.187.160.133:9011/openaccess.thecvf.com/c3pr90ntc0td/content_cvpr_2018/papers/Chen_CartoonGAN_Generative_Adversarial_CVPR_2018_paper.pdf

摘要:在此论文中,我们提出了一种解决方案,能够将现实场景的图片转换为漫画风格的图像,这在计算机视觉和计算机绘图领域都是极具价值与挑战性的任务。我们的解决方案属于基于学习的方法,也就是近来以艺术形式做图像风格化的流行方式。然而,已有的方法不能产生令人满意的卡通化结果,主要是因为:1. 漫画风格有自己独特的特点,高度简化、抽象化。2. 漫画图像有明显的边缘、平滑的颜色和相对简单的纹理,这对当前基于纹理描述器损失函数的方法有极大的挑战。

在此论文中,我们提出了 CartoonGAN,也就是做漫画风格转换的生成式对抗网络。我们的方法采用未配对照片和漫画图来做训练,非常容易使用。我们也提出了两种适用于漫画化的两种全新损失函数:

1. 一个语义内容损失函数,其表述为 VGG 网络中高阶特征映射的稀疏正则化,以应对照片和漫画之间的风格差异。

2. 一个边缘提升对抗损失来保留清晰的边缘。我们进一步引入了初始化阶段,来改进网络的收敛达到目标流形。我们的方法也要比已有方法有更高效的训练。实验结果表明,该方法能够从真实图片转换为高质量的漫画图像(也就是遵循特定的风格,有明晰的边缘和平滑的描影,且超越了其他顶尖方法。

欢迎关注!留

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-06-21,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 目标检测和深度学习 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
想不想让你拍的照片秒变宫崎骏风格漫画,一起来看看CartoonGAN
让我们观察一下上面这张图片,仔细看一看,两张图片有什么不同,看出来了吧?右边这幅图明显不像现实中的车辆嘛,是不是很像漫画呢?有了这个CartoonGAN,漫画家会不会失业呀?
AI深度学习求索
2018/12/11
2.4K0
三次元风景照秒变宫崎骏动画,还能把石原里美吉卜力化,AnimeGAN已开源
宫崎骏、新海诚的电影常常从现实场景中获取灵感,这张“日本动漫”截图同样有对应的真实空间。
量子位
2020/03/31
8720
三次元风景照秒变宫崎骏动画,还能把石原里美吉卜力化,AnimeGAN已开源
清华大学提出APDrawingGAN:人脸照片秒变艺术肖像画,已被CVPR 2019录取
肖像画作为人物画的一种,其简约的风格以及以形写神、迁想妙得的创作方法获得了大家的喜爱。
大数据文摘
2019/06/20
1.5K0
清华大学提出APDrawingGAN:人脸照片秒变艺术肖像画,已被CVPR 2019录取
AI新海诚就是在下,不信来玩
现在,不需要人类画师一帧帧描画,把你拍下的视频喂给AI,就能让现实世界分分钟掉进二次元世界。
量子位
2020/08/12
7350
AI新海诚就是在下,不信来玩
动漫风格迁移 AnimeGANv2 ,发布线上运行 Demo
作者 | 神经星星 出品 | HyperAI超神经 By 超神经 内容一览:最强二次元风格迁移模型 AnimeGAN 更新啦,现在可以在线上轻松运行模型,还可以调整风格参数,输出你想要的照片效果。 关键词:风格迁移 机器视觉 二次元 AnimeGANv2 最近发布了一项更新,由社区贡献者开发,通过 Gradio 实现了一个可以在线运行的 Demo,发布在 huggingface 上。 访问  https://huggingface.co/spaces/akhaliq/AnimeGANv2 即可在线上轻松实
AI科技大本营
2023/04/14
1.7K0
动漫风格迁移 AnimeGANv2 ,发布线上运行 Demo
强烈安利试试这个!效果爆炸的漫画变身AI,火到服务器几度挤爆
提供在线玩法的网站(链接见文末),就是那个著名的抱抱脸 (Hugging Face)。
量子位
2021/11/23
9170
强烈安利试试这个!效果爆炸的漫画变身AI,火到服务器几度挤爆
有点夸张、有点扭曲!速览这些GAN如何夸张漫画化人脸!
1 (2018-07-24) Unpaired Photo-to-Caricature Translation on Faces in the Wild
公众号机器学习与AI生成创作
2020/04/27
1.2K0
学习一个宫崎骏画风的图像风格转换GAN
论文标题:GANILLA: Generative Adversarial Networks for Image to Illustration Translation
AI科技评论
2020/03/17
2.6K0
学习一个宫崎骏画风的图像风格转换GAN
本周AI热点回顾:GAN压缩法使算力消耗不到1/9,开源生成器让你的照片秒变手绘日漫
尽管最近 2019 年的图灵奖颁给了计算机图形学、颁给了皮克斯 3D 动画,但很多人可能认为二维动漫更有意思一些。像宫崎骏、新海诚这些大师手绘下的动漫,才有了灵魂,张张都能成为壁纸,而整个日漫也以二维为核心。
用户1386409
2020/03/31
5120
GAN“家族”又添新成员——EditGAN,不但能自己修图,还修得比你我都好
首先想让大家猜一猜,这四张图中你觉得哪张是P过的?小编先留个悬念不公布答案,请继续往下看。
AI科技评论
2021/11/23
7020
GAN“家族”又添新成员——EditGAN,不但能自己修图,还修得比你我都好
干货 | 抖音漫画效果解密
这个效果可谓非常惊艳,真切的将真人照片转换为了漫画风格,而且支持多人处理,也是因此,一时间刷遍了抖音和朋友圈,周末两天的使用量达到了20亿次以上。
OpenCV学堂
2020/06/29
2.3K0
干货 | 抖音漫画效果解密
宫崎骏动画里的新垣结衣见过没?这个开源动漫生成器让你的照片秒变手绘日漫
尽管最近 2019 年的图灵奖颁给了计算机图形学、颁给了皮克斯 3D 动画,但很多人可能认为二维动漫更有意思一些。像宫崎骏、新海诚这些大师手绘下的动漫,才有了灵魂,张张都能成为壁纸,而整个日漫也以二维为核心。
机器之心
2020/03/27
7890
One-Shot Image-to-Image Translation viaPart-Global Learning With aMulti-Adversarial Framework
 众所周知,人类可以从几个有限的图像样本中有效地学习和识别物体。然而,对于现有的主流深度神经网络来说,仅从少数图像中学习仍然是一个巨大的挑战。受人类思维中类比推理的启发,一种可行的策略是“翻译”丰富的源域的丰富图像,以用不足的图像数据丰富相关但不同的目标域。为了实现这一目标,我们提出了一种新的、有效的基于部分全局学习的多对抗性框架(MA),该框架实现了一次跨域图像到图像的翻译。具体而言,我们首先设计了一个部分全局对抗性训练方案,为特征提取提供了一种有效的方法,并防止鉴别器被过度拟合。然后,采用多对抗机制来增强图像到图像的翻译能力,以挖掘高级语义表示。此外,还提出了一种平衡对抗性损失函数,旨在平衡训练数据,稳定训练过程。大量实验表明,所提出的方法可以在两个极不平衡的图像域之间的各种数据集上获得令人印象深刻的结果,并且在一次图像到图像的转换上优于最先进的方法。
狼啸风云
2023/10/07
3700
One-Shot Image-to-Image Translation viaPart-Global Learning With aMulti-Adversarial Framework
升级版APDrawing,人脸照秒变线条肖像画,细节呈现惊人
随着深度学习的发展,GAN模型在图像风格转换的应用越来越多,其中不少都实现了很好的效果。
AI科技大本营
2020/12/09
1.3K0
升级版APDrawing,人脸照秒变线条肖像画,细节呈现惊人
人脸照片秒变艺术肖像画:清华大学提出APDrawingGAN CVPR 2019 oral paper
该项工作被CVPR 2019录取为oral paper。CVPR是计算机视觉和人工智能领域内的国际顶级会议,2019共收到投稿5160篇,录取1300篇,其中oral paper288篇,仅占全部投稿的5.6%。
数据派THU
2019/06/18
1K0
人脸照片秒变艺术肖像画:清华大学提出APDrawingGAN CVPR 2019 oral paper
NTU华人学生发布GAN模型,130毫秒生成动漫肖像!LeCun点赞:超越梵高
---- 新智元报道   来源:外媒 编辑:LRS 【新智元导读】如何把肖像画变成动漫形象一直是一个研究热点,最近NTU的一个华人博士生提出一个新模型AgileGAN,效果碾压老牌模型。把LeCun的肖像画输入进去,竟得到惊天夸赞! AgileGAN模型是一个能对肖像图进行风格化的模型,论文发表在计算机图形学顶级会议 SIGGRAPH 2021上。 当把Yann LeCun的照片输入到模型中,会发生什么?(Lecun本人会回复你) LeCun的肖像画输入到AgileGAN中,以三种形式(卡通、漫画、
新智元
2023/05/22
3200
NTU华人学生发布GAN模型,130毫秒生成动漫肖像!LeCun点赞:超越梵高
头像神器!照片一键秒转简笔画,清华刘永进等CVPR 19 Oral研究 | 在线可玩
清华大学和英国卡迪夫大学的研究人员提出了一种名为APDrawingGAN系统,随意输入一张人脸照片,系统输出黑白人物线条画。
量子位
2019/06/17
7.4K0
头像神器!照片一键秒转简笔画,清华刘永进等CVPR 19 Oral研究 | 在线可玩
漫画党的福利——将图片转换成漫画风格 API,附超多免费可用API 推荐(四)
今天来和大家聊聊一件非常有趣的事情——将图片转换成漫画风格的 API!如果你是一个漫画党,相信这个话题一定会让你感到兴奋。通过这个 API,你可以将你的照片变成漫画风格,让它们变得更加有趣和艺术!
不是海碗
2023/04/03
2.7K1
漫画党的福利——将图片转换成漫画风格 API,附超多免费可用API 推荐(四)
一键实现图像、视频卡通化,GAN又进化了
现在,通过在Cartoonize这个应用上一键上传你拍摄的图像或视频,就可以在很短时间内将它卡通化。其核心技术来自CVPR 2020的投稿论文,作者的背景是字节跳动和东京大学,他们提出了用白盒卡通表征实现图像卡通化。
AI科技大本营
2020/07/31
3.3K0
一键实现图像、视频卡通化,GAN又进化了
把照片滤镜成“电影风”,其实没你想象的简单
化腐朽为神奇的滤镜 《你的名字》剧照 美仑美焕的天空,炫彩光斑下的图像,就像17岁那年等待放学的午后。 日本漫画家新海诚的电影《你的名字》要来了,画风相当细腻,天空、火车、树林都带着浓厚的“新海诚色彩
智能算法
2018/04/02
1.9K0
把照片滤镜成“电影风”,其实没你想象的简单
推荐阅读
想不想让你拍的照片秒变宫崎骏风格漫画,一起来看看CartoonGAN
2.4K0
三次元风景照秒变宫崎骏动画,还能把石原里美吉卜力化,AnimeGAN已开源
8720
清华大学提出APDrawingGAN:人脸照片秒变艺术肖像画,已被CVPR 2019录取
1.5K0
AI新海诚就是在下,不信来玩
7350
动漫风格迁移 AnimeGANv2 ,发布线上运行 Demo
1.7K0
强烈安利试试这个!效果爆炸的漫画变身AI,火到服务器几度挤爆
9170
有点夸张、有点扭曲!速览这些GAN如何夸张漫画化人脸!
1.2K0
学习一个宫崎骏画风的图像风格转换GAN
2.6K0
本周AI热点回顾:GAN压缩法使算力消耗不到1/9,开源生成器让你的照片秒变手绘日漫
5120
GAN“家族”又添新成员——EditGAN,不但能自己修图,还修得比你我都好
7020
干货 | 抖音漫画效果解密
2.3K0
宫崎骏动画里的新垣结衣见过没?这个开源动漫生成器让你的照片秒变手绘日漫
7890
One-Shot Image-to-Image Translation viaPart-Global Learning With aMulti-Adversarial Framework
3700
升级版APDrawing,人脸照秒变线条肖像画,细节呈现惊人
1.3K0
人脸照片秒变艺术肖像画:清华大学提出APDrawingGAN CVPR 2019 oral paper
1K0
NTU华人学生发布GAN模型,130毫秒生成动漫肖像!LeCun点赞:超越梵高
3200
头像神器!照片一键秒转简笔画,清华刘永进等CVPR 19 Oral研究 | 在线可玩
7.4K0
漫画党的福利——将图片转换成漫画风格 API,附超多免费可用API 推荐(四)
2.7K1
一键实现图像、视频卡通化,GAN又进化了
3.3K0
把照片滤镜成“电影风”,其实没你想象的简单
1.9K0
相关推荐
想不想让你拍的照片秒变宫崎骏风格漫画,一起来看看CartoonGAN
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档