Loading [MathJax]/jax/input/TeX/jax.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >【论文阅读】图像和谐化:Harmonizer: Learning to Perform White-Box Image and Video Harmonization

【论文阅读】图像和谐化:Harmonizer: Learning to Perform White-Box Image and Video Harmonization

作者头像
zstar
发布于 2023-08-26 08:20:56
发布于 2023-08-26 08:20:56
1.4K00
代码可运行
举报
文章被收录于专栏:往期博文往期博文
运行总次数:0
代码可运行

前言

图像和谐化(image harmonization)是指将不同图像进行融合时,消除两幅图片之间光照、色差等因素的影响,使其看上去比较和谐(逼真)。

下面这篇论文通过神经网络连接白盒滤波器的方式实现了图像和谐化,

论文标题:Harmonizer: Learning to Perform White-Box Image and Video Harmonization

设计动机(Design Motivation)

首先作者邀请了5位图像编辑领域的专家(2名摄影师、2名设计师和1名画家)使用Photoshop,通过对不同的图像过滤器(image filters),进行人工图像的和谐化。之后,邀请26名参与者对图像进行打分,评估不同滤波器的作用,结果如下图所示:

根据重要程度从高到低,对图像和谐化起作用的滤波器依次为亮度(brightness)、对比度(contrast)、饱和度(saturation)、色温(temperature)、高光(highlight)、阴影(shadow)。

网络结构(Harmonizer Framework)

因此,作者提出了Harmonizer这个网络结构,输入图像包括未处理的图像

I0

和图像中目标对象的掩膜

M

,经过该网络输出各种滤波器的参数。

实验效果(Experiments)

作者在五种公开数据集(256×256分辨率)上进行了实验,结果如下表所示。

表中,↓表示该指标数值越低越好,↑反之。

之后,作者又和其它算法比较了模型的推理速度,模型体积和显存占用情况(RTX3090 GPU),从下表中可以看出,Harmonizer算法比其它同类算法模型体积更小,推理速度显著提升。

下载试用

该论文开源了它的代码,仓库地址如下: Github仓库:https://github.com/ZHKKKe/Harmonizer.

作者提供的模型文件harmonizer.pth大小仅有18.3 MB,下载好之后放置在pretrained文件夹下,

之后,修改demo/image_harmonization/run.py文件中的模型和数据路径:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
parser = argparse.ArgumentParser()
parser.add_argument('--example-path', type=str, default='example', help='')
parser.add_argument('--pretrained', type=str, default='../../pretrained/harmonizer.pth', help='')
args = parser.parse_known_args()[0]

然后,运行run.py即可。

作者在仓库中提供了一些图像素材,处理前后的效果如下图所示。

注:左侧为直接嵌入猫主体的原始图片,右侧为模型输出图片。

下面换用自己的图片,下图是我使用PS处理的图片,图中的月亮是直接嵌入的,过于明亮和背景略显违和。

将该图片放置在demo/image_harmonization/example/composite路径下。

之后利用PS里的填充工具,形成目标的mask,如下图所示。

将该图片放置在demo/image_harmonization/example/mask路径下。

最后运行程序,得到处理好的图片在demo/image_harmonization/example/harmonized路径下。

从处理结果可以看出,模型主要对月亮的色温和亮度进行了调整,效果差强人意。

此外,该算法还支持视频处理,不过需要视频每帧的mask图像,实用性不如图片高些。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2023-08-24,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
世界人工智能大赛 Top1 方案!手写体 OCR 识别
参加了“世界人工智能创新大赛”——手写体 OCR 识别竞赛(任务一),取得了Top1的成绩。队伍随机组的,有人找我我就加了进来,这是我第一次做OCR相关的项目,所以随意起了个名字。下面通过这篇文章来详细介绍我们的方案。
Datawhale
2022/03/01
1.7K0
世界人工智能大赛 Top1 方案!手写体 OCR 识别
【论文复现】图像压缩算法
首先,这篇文章的出发点就是图像压缩最本源的目的,就是探索如何在相同的码率下获得更高质量的重建图像,或者说在得到的重建图像质量一样的情况下,如何进一步节省码率。
Eternity._
2024/12/28
3530
【论文复现】图像压缩算法
CVPR 2020 | 让合成图像更真实,上交大提出基于域验证的图像和谐化
图像合成 (image composition) 是图像处理的常用操作,把前景从一张图上剪贴下来粘贴到另一张图上,获得一张合成图。合成图可以用来获取感兴趣的目标图像,也可以用于数据增广,有着广泛的应用的前景。但通过这种方式得到的合成图存在诸多问题,比如前景的大小或位置不合理、前景和背景看起来不和谐等等。我们的工作侧重于解决合成图中前景和背景不和谐的问题。具体来说,在合成图中,前景和背景是在不同的拍摄条件 (比如时刻、季节、光照、天气) 下拍摄的,所以在亮度色泽等方面存在明显的不匹配问题。图像和谐化 (image harmonization) 旨在调整合成图中的前景,使其与背景和谐。
机器之心
2020/02/27
8810
CVPR 2020 | 让合成图像更真实,上交大提出基于域验证的图像和谐化
⌈四合一物体传送门⌋,向场景中可控传送物体
作为图像编辑的常用操作,图像合成(image composition)旨在把一张图片的前景物体和另外一张背景图片结合起来得到一张合成图(composite image),视觉效果类似于把一张图片的前景物体传送到另外一张背景图片上,如下图所示。图像合成在艺术创作、海报设计、电子商务、虚拟现实、数据增广等领域有着广泛应用。
AI科技评论
2023/09/07
2910
⌈四合一物体传送门⌋,向场景中可控传送物体
GoogLeNet论文阅读
在2014年的ImageNet图像识别挑战赛中,一个名叫GoogLeNet的网络结构大放异彩。它虽然在名字上向LeNet致敬,但在网络结构上已经很难看到LeNet的影子。在随后几年里,研究人员对GoogLeNet进行了数次改进,本篇文章介绍的是这个模型系列的第一个版本
mathor
2020/02/12
1.1K0
GoogLeNet论文阅读
口罩检测识别率惊人,这个Python项目开源了
昨天在 GitHub 上看到一个有趣的开源项目,它能检测我们是否有戴口罩,跑起程序测试后,发现识别率挺高的,也适应不同环境,于是分享给大家。
AI科技大本营
2020/03/10
3.4K1
口罩检测识别率惊人,这个Python项目开源了
OpenCV图像处理专栏七 | 《Contrast image correction method》 论文阅读及代码实现
这是OpenCV图像处理专栏的第七篇文章,这篇文章是在之前的推文 OpenCV图像处理专栏二 |《Local Color Correction 》论文阅读及C++复现基础上进行了改进,仍然针对数字图像的光照不均衡现象进行校正。
BBuf
2019/12/24
1.4K0
ECCV2022 &CVPR2022论文速递2022.7.18!
CVPR2022论文和代码整理:https://github.com/DWCTOD/CVPR2022-Papers-with-Code-Demo
AI算法与图像处理
2022/12/11
3780
【目标检测/实例分割】Mask R-CNN简介与Swin Transformer实践测试
之前在看Swin Transformer的时候,发现该算法在目标检测、实例分割等各种视觉任务上屠榜,于是想来实践测试一下。
zstar
2022/10/04
3.4K0
【目标检测/实例分割】Mask R-CNN简介与Swin Transformer实践测试
VGG论文阅读
VGG 是 ImageNet 2014 年目标定位竞赛的第一名,图像分类竞赛的第二名
mathor
2019/12/30
7400
VGG论文阅读
用 Python 实现隐身,我可以 | 文末福利
视频和图像的隐身术是指在视频或者图像中中,在没有任何输入遮罩的情况下,通过框选目标体,使得程序实现自动去除视频中的文本叠加和修复被遮挡部分的问题。并且最近的基于深度学习的修复方法只处理单个图像,并且大多假设损坏像素的位置是已知的,故我们的目标是在没有蒙皮信息的视频序列中自动去除文本。
AI科技大本营
2021/06/08
4600
用 Python 实现隐身,我可以 | 文末福利
基于深度学习的图像增强综述
这篇博客主要介绍之前看过的一些图像增强的论文,针对普通的图像,比如手机拍摄的那种,比低光照图像增强任务更简单。
3D视觉工坊
2021/05/18
2.3K0
基于深度学习的图像增强综述
【目标检测】YOLOv5遇上知识蒸馏
知识蒸馏(Knowledge Distillation)由深度学习三巨头Hinton在2015年提出。
zstar
2022/11/12
2.7K0
【目标检测】YOLOv5遇上知识蒸馏
目标检测模型NanoDet(超轻量,速度很快)介绍和PyTorch版本实践
YOLO、SSD、Fast R-CNN等模型在目标检测方面速度较快和精度较高,但是这些模型比较大,不太适合移植到移动端或嵌入式设备;轻量级模型 NanoDet-m,对单阶段检测模型三大模块(Head、Neck、Backbone)进行轻量化,目标加检测速度很快;模型文件大小仅几兆(小于4M)。
润森
2022/09/22
2.7K0
目标检测模型NanoDet(超轻量,速度很快)介绍和PyTorch版本实践
《DeepLab V3》论文阅读
本文首先回顾了空洞卷积在语义分割中的应用,这是一种显式调整滤波器感受野和控制网络特征响应分辨率的有效工具。为了解决多尺度分割对象的问题,我们设计了采用级联或并行多个不同膨胀系数的空洞卷积模块,以更好的捕获上下文语义信息。此外,我们扩充了在DeepLab V2中提出的ASPP模块,进一步提升了它的性能。并且我们还分享了一些训练系统方面的经验和一些实施方面的细节。
BBuf
2019/12/09
1.2K0
从背景中学习:基于区域自适应实例归一化的图像和谐化方法
论文标题:Region-aware Adaptive Instance Normalization for Image Harmonization
用户1324186
2021/07/29
2.2K0
【综述】图像去雾的前世今生
其实之前对图像去雾也没有什么深入的理解,只是了解,实现过一些传统的图像去雾方法而已。个人感觉,在CNN模型大流行的今天,已经有很多人忽略了传统算法的发展,以至于你今天去搜索10年前的传统去雾算法或许根本找不到相关资料了,或许这就是网络中的围城吧。今天周六有空来整理一下我所了解到的图像去雾技术的发展,并尝试做一个详细点的综述。
BBuf
2020/03/19
1.8K0
【综述】图像去雾的前世今生
隐式神经网络实现低光照图像增强
2023年人工智能顶会ICCV会议论文复现 Implicit Neural Representation for Cooperative Low-light Image Enhancement
Srlua
2024/12/09
2520
隐式神经网络实现低光照图像增强
「Deep Learning」PyTorch初步认识
torch.where(condition, x, y): 按照条件从x和y中选出满足条件的元素组成新的tensor。
曼亚灿
2023/07/05
6420
「Deep Learning」PyTorch初步认识
yolo-world 源码解析(三)
ApacheCN_飞龙
2024/03/09
4880
推荐阅读
相关推荐
世界人工智能大赛 Top1 方案!手写体 OCR 识别
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档