图像增强是图像处理中的重要技术之一,它可以改善图像的亮度、对比度和颜色等视觉效果,使图像更加清晰、鲜明。Retinex是一种经典的图像增强算法,它通过对图像进行多尺度高斯模糊处理和颜色恢复操作来改善图像的视觉效果。本文将详细介绍Retinex算法的原理,并给出了Python实现的示例代码和测试结果。
基于Retinex的低光照图像增强包含对比度增强和噪声抑制两个任务,并存在一定的耦合关系,若忽略两者之间的关系可能会导致过度/欠平滑的结果。为了解决这一问题,本文提出了一种改进的Retinex框架,其中,低光照图像的噪声和亮度以一种互相增强的方式感知,来实现基于retinex的图像增强。本文设计了两个“逐点式”(即1*1的滤波器)的卷积神经网络分别用于建模环境光和图像噪声的统计规律,并利用它们作为约束来处理共同学习的过程,两个模型渐进地处理直到获得稳定的结果。网络结果图如下:
现有的图像增强数据集都是通过合成或者调整曝光时间得到的,但存在两个问题:①如何确保预先训练的网络可以用于不同设备、不同场景和不同照明条件下收集的图像,而不是构建新的训练数据集。②如何确定用于监督的正常光图像是最好的,因为相对于一张低光照图像,我们可以得到很多的正常光图像。 为了解决上述问题,本文基于信息熵理论和Retinex模型,提出了第一篇基于深度学习的完全自监督做图像增强的论文,本文提出的网络不用成对的数据集,只需要低光照图像(甚至只要一张低光照图像),训练时间为分钟级(minute-level),可以取得实时的性能。该网络将低光照图像分解为反射部分和照度部分,其中反射部分即为增强后的结果。 本文的理论来源:根据信息熵理论,直方图均匀分布的图像熵最大,信息量最大。基于这一点,本文提出了一个假设,即增强后图像最大通道的直方图分布应与直方图均衡化后的低光照图像最大通道的直方图分布一致。有了这一假设,损失函数的设计就不需要正常光图像,不仅保留了增强后图像的真实性,而且包含充足的信息。作者认为,该方法对低亮度图像的获取没有任何依赖,且训练过程完全self-supervised,因此本文提出的方法具有良好的泛化能力,即使预训练的网络对于新的环境结果不是很好,也可以通过重新训练或者微调的方式改善。 基于最大熵的Retinex模型,其理论来源如下,根据Retinex理论,图像可以分解成反射和照度部分,即
前些时间,我在知识星球上创建了一个音视频技术社群:关键帧的音视频开发圈,在这里群友们会一起做一些打卡任务。比如:周期性地整理音视频相关的面试题,汇集一份音视频面试题集锦,你可以看看这个合集:音视频面试题集锦。再比如:循序渐进地归纳总结音视频技术知识,绘制一幅音视频知识图谱,你可以看看这个合集:音视频知识图谱。
欢迎来到《每周CV论文》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。
在现实场景中,由于光线、视角等问题会导致我们拍摄出来的照片比较阴暗,具体的图片如下图中的1、3、5列所示,然后这些阴暗的图片不仅会影响我们的观察,而且会极大的影响计算机视觉处理算法的效果,2、4、6列表示的是使用了低光照图像增强算法之后的效果。本文主要针对低光照的图片展开论述,对经典的一些低光照图像增强算法进行了总结和初略的分析。
美国物理学家埃德温∙兰德(Edwin Land) 在 1971 年提出一种被称为色彩的理论,并在颜色恒常性的基础上提出的一种图像增强方法。Retinex 理论认为物体的颜色是由物体对长波、中波和短波光线的反射能力决定的,而不是由反射光强度的绝对值决定的,即物体的色彩不受光照非均性的影响,具有一致性。
也是上上周布置的作业,主要是比较不同 Retinex 算法实现的结果。同样也是需要自己看论文并实现算法,这点应该是选这门课最大的优点了,也是硕士需要掌握的基本技能。
图像在较低的光照下拍摄往往存在亮度低、对比度差等问题,从而影响一些high-level任务,因此低光照图像增强的研究具有很强的现实意义。现有的方法主要分为两类,基于直方图均衡的方法和基于Retinex理论的方法。基于HE的方法主要是扩大图像的动态范围从而增强整幅图像的对比度,是一个全局的过程,没有考虑亮度的变换,可能会导致过度增强。基于Retinex的方法的关键是估计illumination map,是手工调整的,依赖于参数选择,此外这种方法不考虑去除噪声,甚至会放大噪声。现有的基于深度学习的方法没有显式地包含去噪过程甚至依赖于传统的去噪方法,取得的效果不是很好。
本文分享 AAAI 2022 论文『Low-Light Image Enhancement with Normalizing Flow』,由南洋理工大学和香港城市大学合作完成,该文针对弱光图像增强问题提出了一种新颖的流正则化模型LLFlow,并在多个数据集上达到SOTA性能。
直方图是图像的一种统计表达形式,在一定程度上能够反映数学图像的概貌性描述,包括图像的灰度范围、灰度分布、整幅图像的亮度均值、阴暗对比度等,并可以此为基础进行分析来得出对图像进一步处理的重要依据。直方图均衡化也叫作直方图均匀化,就是把给定图像的直方图分布变换成均匀分布的直方图,是较为常用的灰度增强算法。直方图均衡化概括起来包括以下三个主要步骤。
尽管高光谱图像(hyperspectral image,HSIs)在执行各种计算机视觉任务中的重要性已被证明,但由于在空间域中具有低分辨率(LR)属性,其潜力受到不利影响,这是由多种物理因素引起的。
图像可以看做是入射图像和反射图像构成,入射光照射在反射物体上,通过反射物体的反射,形成反射光进入人眼。最后形成的图像r(x,y)可以如下公式表示
Toward Fast, Flexible, and Robust Low-Light Image Enhancement
这是第一篇将CNN与Retinex理论结合起来的论文,提出了一个多尺度Retinex卷积网络,端到端的实现低光照图像增强,属于有监督学习,即输入为一张暗的图像,输出为亮图。 本文的最大创新点在于其认为多尺度的Retinex理论等价于一个不同高斯卷积核组成的反馈卷积神经网络,可以写成如下形式:
论文地址:https://arxiv.org/pdf/2204.10137.pdf 代码地址:https://github.com/vis-opt-group/SCI 本文提出了一种全新的低光照图像增强方案:自校准光照学习(SCI)。通过构建引入自校准模块的权重共享光照学习过程,摒弃了网络结构的繁杂设计过程,实现了仅使用简单操作进行增强的目的。大量实验结果表明,SCI在视觉质量、计算效率、下游视觉任务应用方面均取得了突破(见图1)。该研究已被CVPR 2022收录为Oral。 图1 本文提出方法与其他方法
相关随笔可见:带色彩恢复的多尺度视网膜增强算法(MSRCR)的原理、实现及应用。
Retinex这个词是由视网膜(Retina)和大脑皮层(Cortex) 两个词组合构成的。Retinex理论主要包含了两个方面的内容:物体的颜色是由物体对长波、 中波和短波光线的反射能力决定的,而不是由反射光强度的绝对值决定的;物体的色彩不受光照 非均匀性的影响,具有一致性 。
论文地址:http://jiaya.me/papers/photoenhance_cvpr19.pdf
最近在B站看到一个视频关于OpenCV 中的60 种,图像处理,总结的非常棒,因此分享给小伙伴们!
本文对去雾算法进行了研究,总结了基于暗通道先验的去雾算法、基于中值滤波的去雾算法、基于Retinex图像增强的去雾算法、基于自适应直方图均衡化的去雾算法和基于自适应对比度增强的去雾算法。这些算法在图像去雾领域有着广泛的应用,但仍有许多不足,如速度慢、效果不够理想等。为了解决这些问题,作者提出了一种基于图像透射率图快速计算的去雾算法,该算法在处理速度、图像质量等方面均有较好的表现。
Retinex模型是微光图像增强的有效工具。假设观测图像可以分解为反射率和光照。大多数现有的基于retinx的方法都为这种高度病态分解精心设计了手工制作的约束条件和参数,当应用于各种场景时,可能会受到模型容量的限制。在本文中,我们收集了一个包含低/正常光图像对的低光数据集(LOL),并提出了在该数据集上学习的深度视网膜网络,包括用于分解的解分解网和用于光照调整的增强网。在解压网络的训练过程中,分解的反射率和光照没有ground truth。该网络仅在关键约束条件下学习,包括成对低/正常光图像共享的一致反射率和光照的平滑度。在分解的基础上,通过增强网络对光照进行亮度增强,联合去噪时对反射率进行去噪操作。Retinex-Net是端到端可训练的,因此学习的分解本质上有利于亮度调整。大量实验表明,该方法不仅在弱光增强方面具有良好的视觉效果,而且能很好地表征图像的分解。
摘要 基于深度学习的方法在图像恢复和增强方面取得了显著的成功,但在缺乏成对训练数据的情况下,它们是否仍然具有竞争力?作为一个例子,本文探讨了弱光图像增强问题,在实践中,它是非常具有挑战性的同时采取一个
低照度图像增强只是对在低环境光环境下拍摄的图像进行增强,以提高图像视觉清晰度,如下图所示:
他们提出基于深度学习优化光照的暗光下的图像增强模型,用端到端网络增强曝光不足的照片。
之前在做光照对于高层视觉任务的影响的相关工作,看了不少基于深度学习的低光照增强(low-light enhancement)的文章[3,4,5,7,8,9,10],于是决定简单梳理一下。
这是一篇单一图像对比度增强的论文,传统的单一图像对比度增强方法包括基于HE和Retinex理论,但由于自然场景的复杂性和单张图像包含的信息有限,往往很难产生高质量的结果。因此有了基于多曝光图像序列的图像增强,主要有多曝光图像融合(MEF)和高动态范围图像堆叠(stack-based HDR image),再加上色调映射,但这些序列图像中会,存在模糊或者物体移动,导致得到的结果产生伪影。 为了解决上述问题,这篇文章构造了一个大规模的多曝光率图像数据集,包含不同曝光率的低对比度图像及其对应的高质量ref图像,这个对应的ref图像是通过现有的13中MEF和HDR堆叠等方法生成的效果最好的一种,这样就可以用一张图像作为输入,通过网络学习来达到MEF的目的,作者很巧妙地构造了这样一个数据集,使得单图输入也可以实现多图像输入的结果。 网络的设计也不是特别复杂,作者刚开始直接使用一个15层的网络端到端的学习,发现效果不是很好,然后参考了一些其他论文的方式,图像低频信息代表整体自然度,高频信息代表局部细节,先把图像分为高频和低频部分,对两部分分别进行增强,若直接合并两部分的结果效果不是很好,所以作者把增强后的两部分进行合并后再通过一个网络进一步增强,最终得到对比度增强的结果。训练的时候,先分别训练这两个stage,用第一阶段训练好的参数再来训练第二阶段的网络。两个阶段训练完后,移除第一阶段的两个loss,使用DSSIM作为loss来fine-tune整个网络。
本文针对低照度视频序列,为了增强视频图像的主观视觉质量,设计了正则化的最优化框架(其中包含:亮度增强代价函数,对比度增强代价函数和亮度一致性代价函数),并给出满足实时应用需求的求解方式。该算法具有较低的计算复杂度和极强的鲁棒性,实验证明其大量测试和线上的视频图像的增强效果中没有过度增强和失真增强的差质量样例。相关技术全部为组内自研,已获中国专利授权一项且中稿国际视频编码领域的重要会议文章一篇。
前一篇文章详细介绍和总结基于溯源图的APT攻击检测安全顶会内容,花了作者一个多月时间。这篇文章将讲解ACE去雾算法、暗通道先验去雾算法以及雾化生成算法,并且参考了两位计算机视觉大佬(Rizzi 何恺明)的论文。希望这篇文章对您有所帮助,这些大佬是真的值得我们去学习,献上小弟的膝盖~fighting!
视频通话是微信的基础功能之一,在实际应用中受光照条件及视频采集设备能力所限,视频发暗是影响主观体验的重要因素。我们尝试改进这个问题,欢迎留言交流:) 该项工作的主要成果发表在ISCAS 2017国际会议上。("Low-Lighting Video Enhancement Using Constrained Spatial-Temporal Model for Real-Time Mobile Communication", ISCAS, pp:595-598, Baltimore, MD, USA, 201
大家好,这是专栏《计算摄影》的第四篇文章,这一个专栏来自于计算机科学与摄影艺术的交叉学科。今天我们讨论的问题是如何学会做图像增强。
当下,由于水下恶劣危险的环境,海洋产业在发展中面临着迫切的产业智能化升级需求。为了解决该类问题,将光学技术、声学技术和 AI 算法更好的融入到海洋产业中,近期,一场由国家自然基金委、鹏城实验室和湛江市人民政府联合主办的线上比赛「水下目标检测算法赛」拉开了帷幕。
作者:方阳, 转载请注明地址。 文件和代码可以在Github下载, markdown推荐用typora打开。 这篇文章是DIP的第二次作业,对图像增强技术进行综述,目录如下:
水下目标检测旨在对水下场景中的物体进行定位和识别。这项研究由于在海洋学、水下导航等领域的广泛应用而引起了持续的关注。但是,由于复杂的水下环境和光照条件,这仍然是一项艰巨的任务。因此近年来有多个赛事与水下目标检测相关,接下来我们将介绍在水下目标检测领域的深度学习方法概述。
在目标检测的应用领域,水下目标检测目前仍然还是一个具有挑战的领域,本文总结了水下目标检测的关键问题、相关论文以及一些比赛的开源方案,希望对大家有帮助。
从年初起,几家国际大厂的开发者大会,无论是微软Build、Facebook F8还是稍后的Google I/O,莫不把“AI优先”的大旗扯上云霄。 如果这一波AI大潮只是空喊几句口号,空提几个战略,空有几家炙手可热的创业公司,那当然成不了什么大气候。但风浪之下,我们看到的却是,Google一线的各大业务纷纷改用深度学习,落伍移动时代的微软则已拉起一支近万人的AI队伍。而国内一线大厂的情况,恐怕也是差不多的。 本期封面报道,我们请来商汤、美国杜邦、声智、希为、58同城、爱因互动、中科视拓、鲁朗软件等公司AI技
其实之前对图像去雾也没有什么深入的理解,只是了解,实现过一些传统的图像去雾方法而已。个人感觉,在CNN模型大流行的今天,已经有很多人忽略了传统算法的发展,以至于你今天去搜索10年前的传统去雾算法或许根本找不到相关资料了,或许这就是网络中的围城吧。今天周六有空来整理一下我所了解到的图像去雾技术的发展,并尝试做一个详细点的综述。
众所周知,随着电网的日益复杂,传统的输电塔人工测量方法已经失效,无法满足安全稳定运行的要求。尽管卫星遥感技术的发展为输电塔的高效稳定测量提供了新的前景,但仍有许多问题需要解决。由于恶劣的气候和成像设备的限制,遥感图像中的一些输电塔目标是模糊的,这使得生成数据集和实现高精度输电塔目标检测变得极其困难。为了进一步提高发射塔的检测精度,首次将基于暗通道先验的图像增强算法应用于遥感图像,提高了图像的可解释性。然后,考虑到增强图像中仍有一些传输塔无法手动标记,采用了一种基于伪标记的半监督学习方法来最大限度地利用现有数据。基于这一高质量的数据集,利用移动倒瓶颈卷积和可变形卷积构建了一个传输塔卫星遥感目标检测模型。最后,根据我国某地区的卫星遥感图像数据集进行了烧蚀和对比实验。实验结果表明,图像增强和半监督学习方法都能提高检测精度,与现有主流模型相比,该方法性能更好。
在计算机视觉处理中,常常需要对低光照图像进行数据增强,如夜晚灯光昏暗条件下的图像识别检测等。
相信看了前面的几篇文章后很多朋友已经等不及快速入行了,今天就来介绍一下计算机视觉的各大研究方向及其特点。
图像分类是计算机视觉中最基础的一个任务,也是几乎所有的基准模型进行比较的任务,从最开始比较简单的10分类的灰度图像手写数字识别mnist,到后来更大一点的10分类的cifar10和100分类的cifar100,到后来的imagenet,图像分类任务伴随着数据库的增长,一步一步提升到了今天的水平。
摘要:将视觉SLAM(同步定位与地图创建)方法应用于水下环境时,扬起的沉积物会导致SLAM特征点提取与追踪困难,而且人工光源的光照不均匀还会引起特征点分布不均与数量较少。针对这些问题,设计了一种水下图像半均值滤波除尘与光照均衡化特征增强算法;根据水中杂质的像素特征,按照“检测-滤波”的顺序采取从外至内的半均值滤波过程消除扬起的沉积物在图像内造成的干扰;同时,通过统计光照均匀、充足区域内的像素分布,得到同一地形下不同位置处的环境特征相似的规律,并将其用于求解水下光照模型,将图像还原为光照均衡的状态,以此来增强图像的特征,进而实现更多有效特征点的提取。最后,利用该滤波与增强算法对多种海底地形数据集进行处理,并在ORB-SLAM3算法下测试运行。结果表明,滤波与增强后的数据集能够将特征点提取数量和构建地图的点云数量平均提高200%。综上,图像滤波除尘与特征增强算法能够有效提高视觉SLAM算法的运行效果与稳定性。
在增强弱光图像时,许多深度学习算法都是基于Retinex理论的,不过Retinex模型没有考虑隐藏在黑暗中或由点亮过程引入的损坏。
本文为52CV粉丝cyh投稿,介绍了 ICCV 2023 上的新工作《Retinexformer: One-stage Retinex-based Transformer for Low-light Image Enhancement》。
在 CVPR 2020 Workshop 举办的 NightOwls Detection Challenge 中,来自国内团队深兰科技的 DeepBlueAI 团队斩获了“单帧行人检测”和“多帧行人检测”两个赛道的冠军,以及“检测单帧中所有物体”赛道的亚军。
众所周知,深度学习算法已经占领很多计算机视觉任务的制高点,在图像识别等任务上的精度已然超过了人类的平均水平。然而,绝大多数深度学习算法只有在高质量的图像上才能取得高性能。实际图像采集过程中,存在各种降质因素,导致图像质量和视觉效果下降,深度学习算法的性能也随之降低。
图像处理是指对图像信息进行加工,从而满足人类的心理、视觉或者应用需求的一种行为。图像增强是对图像的低层次处理,处于图像处理的预处理阶段,在整个图像处理过程中起着承前启后的重要作用,为后续处理阶段做准备,对图像高层次处理的成败至关重要。图像增强的目的是为了改善图像的质量和视觉效果,或将图像转换成更适合于人眼观察或机器分析识别的形式,以便从图像中获取更加有用的信息。
领取专属 10元无门槛券
手把手带您无忧上云