不止是去噪-从去噪看AI ISP的趋势

很多文章已经写过了intel实验室这篇 see in dark的论文。大多数评论是从这篇文章的去噪角度来评论这个结果的，但是从论文的内容中不仅是降噪的这部分但是今天我们要从另外一个角度来看这个论文。这一篇中我们主要分析可能对今后成像部分尤其是ISP的影响。其实这篇文章很早就开始写了，但是最近由于我个人的问题一直没有能完工。

首先在读这篇文章时候除了去噪，我注意到的是这篇论文中的模型是一个以RAW bayer为输入，RGB输出为输出。从成像的角度这就是一个完整的ISP。

论文中主要评估了通过一个全卷积神经网络处理的结果对比经过BM3D和普通传统的ISP处理流程的结果。这是一个粗暴的做法，但是也让大家看到AI ISP至少是有可行的希望的。首先向吐槽的是作者实际上给出的传统的ISP和我们一般使用的ISP的模块上还是有很大的差别的。不过这并不影响分析的重点。从下图中的结果中来看，这个神经网络在数据集中代替ISP的效果还是很不错的。噪声被很好的去除，尤其是彩色噪声部分让大家有深刻印象。并且从图片中可以看到从颜色，到纹理细节上都没有什么问题。这个让令人惊讶，那么这个全卷积网络是不是就能完整的代替了ISP？在做出这个结论之前我们先首先看下论文中的其它部分。

在论文中描述传统的中的ISP的结构并没有实际使用中的模块复杂程度，但是包含了一般ISP中主要的功能。当然他这里也介绍了google的HDR+结构的ISP结构，不过一样只是介绍了主要模块。但是这里其实并没有和实际使用的比较好的ISP架构做对比，现在实际中的ISP往往有多个去噪模块同时复合使用在RAW域和之后的YUV(RGB)中都会有。不过从目前提供的图片效果来说，应该很少有能做到文章中的深度学习网络的效果。

文章中主要分析了其强大的去噪能力，作者是通过PSNR和SSIM的评价方法对图片通过传统的处理和通过神经网络的比较。结果确实令人惊讶，作者也说这是对于bust还有BM3D去噪方法不公平的比较。不管怎样文章中的去噪能力不需质疑。不过个人认为下面第一张图片其实不应该增加到比较内容中。这个还是相机处理的有问题的表现，不应该作为一个效果的对比对象。

由于这个评估更集中于噪声，并没有更多动态范围和颜色的客观测试所以我们并没有更多的结果但是作者做了很多不同方法的比较最后发现对于噪声的影响来说目前的组合是他们尝试过最好的。

这其中作者做了

1 网络模型更改为CAN网络，

2 修改输入图片为SRGB的模式，

3 改变 Loss functions ,

4 甚至RAWimage输入网络的方式，

5 直方图扩展（简单的可以理解为均衡）。

最终得到当前处理是最好的。从数据分析来看作者的主要目的还是去噪。但是从结果来看，我们有一个疑问，如果一个网络模型就能代替所有的ISP处理步骤，那么在我们是否可以使用深度学习神经网络代替ISP呢？我们接下来分析。

1 首先作者的论文主要是为了分析去噪，所以场景都是集中于低光的部分，如果增加更多的场景这比较粗暴的方法不知道光通过训练集的大小是否可以解决。即使能解决，需要多少个场景，多少训练样本能够解决。

2 作者在比较CAN网络的时候发现CAN网络中有偏色的问题，但是这部分没有深入分析这个原因。所以现在没办法确认这是不是真的和网络结构有关，还是能够有更好的解决办法。

3 另外一点遗憾的是作者是在同一台相机上做的训练和测试，不知道相同型号不同相机下由于硬件一致性的问题是否会严重。因为传统的ISP中是会对硬件的不一致性根据校准数据进行图像矫正的。

4 作者论文的中的运行速度对于ISP 来说并不理想。不过这部分也许可以被后期硬件和算法的进步所解决。

因此在公众号内部我们有发起这个话题的讨论，最终我们有以下几个看法：

一不用怀疑ISP算法研究的必要性

即使使用深度学习网络代替ISP也是最终的应用端，但是训练神经网络的数据集还需要更好的ISP算法辅助生成。因此更好的ISP算法依然是需要的。也许后面的有些部分的ISP算法会形成非对称的形式。在训练样本的生成

二是否使用一个神经网络替代ISP

这个答案其实是不确认的，但是所有人都认为应该至少部分难以一般算法很难得到更好的结果和调试结果部分如降噪，提升动态范围，以及细节的恢复，或者是图像融合的部分是最有可能被神经网络的方法代替。这方面建议大家可以看下google的一片论文。其中将Burst降噪多帧合成处理过程使用神经网络实现了。论文的名字是Burst Denoising with Kernel PredictionNetworks Supplemental Material。从论文的角度上我们来看去噪的效果比传统的HDR+要好很多网络架构和效果如下面两图。但是和Seeindark是否能够对比我们目前还不知道。

不过我们也认为其中一些比较成熟且消耗比较少的模块有机会继续沿用传统ISP的处理方法。

三从硬件方面考虑

更多的CNN加速器在芯片中，而且加速器和ISP的配合需要十分注意的设计。如何在不影响效率的情况下还能使神经网络加速器和现有的ISP架构结合将是重点。现有的ISP很多实现算法的设计中对于缓存的应用还是很好的。ISPAI化在这方面还需要有些尝试。

四对于从业人员和行业发展的影响

从不同论文的效果，我们觉得深度学习进入ISP是个大的趋势。这个毋庸置疑，从大的行业角度来看AI化的两个目标是

1 得到更好的效果

2减少人工成本（工作结构）

前者比较好理解，后者是神经网络的进入，可能从一定程度上减少终端的一些ISP的开发和tunning的人工成本（工作结构）。当然行业的高水平ISO开发和tunning工程师依然会抢手，甚至需要的更多。依然需要人开发更好的算法以优化训练集，还是需要好的IQ工程师进行对应的图像质量评价。虽然有一部分tunning工作结构可能被采集训练照片所代替，但是这个时间依然会有一定缓冲期。

补充下，文章中的数据集和论文都在公众号的共享资源中可以找到，大家可以自己尝试跑一下，看看具体的结果。