如果达到标准是就是好的图：

n sharpness：镜头

意思是照一张对比度很高的图（边缘很锐利的图），通过镜头是否还很锐利，说明镜头的解析度存在问题，这一般要去诊断isp或者整个相机模具里面有什么问题，最先做的是sharpness case，如果这个sharpness case不过，就会大概率的去看镜头是否有问题。

n noise：去噪模块

同sharpness中提到的一样，如果噪音很大，性价比很低，会看去噪模块是否有问题。

n dynamic-range：感测器性能，tone mapping

在一张相片中，dynamic-range很低，黑的太黑，亮的太亮，就去诊断感测器是否有问题，或者tone mapping演算法是不是鲁棒

n color accuracy：ccm

如果照片存在问题，会去看Automatic white balance和Color Correction Matrix 是否存在问题。是不是颜色标定过程有问题

n distortion，uniformity：镜头

当distortion，uniformity有问题也会去看镜头，是不是镜头的fov远远大于需求了，比如fov太大，它的余晕效应很严重，distortion很大，但是应用不需要很大的distortion，不需要很广的视角，

n moire：demosaic

上图中第三行第一张color moire，它大概率是demosaic造成的。

以上其实带有大量的经验主义的东西在里面，所以在提到问题都是用到大概率的词来描述。这让我们的调试变得及其困难。

我们希望让调试的工作变得简单。在不需要投入更多的人力物力，不需要依靠经验主义的情况下来提高调试效率。

现在已经有人在想办法用end to end dnn 深度学习的方法代替传统的isp。

2018年cvpr上发了一篇paper《Learning to See in the Dark》（学习在黑暗中看世界），由UIUC的陈晨和Intel Labs的陈启峰、许佳、Vladlen Koltun 合作提出的一种在黑暗中也能快速、清晰的成像系统，让机器「看破」黑暗的论文，

输入是拜耳阵列，把它分为三个layer，分解成rgb三个chanel，喂入Neural Network里，出来就是output rgb。其实这个网路代替了过去所有的isp pipe line，但技术还不成熟，离工业化还很遥远，

Neural Network存在不可控性。基于物理性质的isp出问题是可以诊断出来或者看出来问题在哪里。如一只黄色的猫照出来是淡黄色的猫，觉得还ok，但是用deep learning Neural Network很可能是进来一只黄色猫，出来变成一只狗或则变成黑色的了，这是完全有可能的。 但是这篇paper没有说完全代替传统isp，paper中想了一个办法，在极低的低光下，传统isp是什么都看不到的，如上图左下边是传统isp的成像，完全是黑的，这种情况下出来的的图就是noise，相对比用新技术得到的anything 都是big plus ，侧面反映出它可能在全工况出的图都是不错的。但这是一个不错的方向。

如果端到端的代替isp是有难度的，或者说很不可靠。每一个isp模块都是基于标定或者基于某种假设，那是否用一个dnn网路代替isp的一个block。就是能不用用一个dnn网路做白平衡，一个dnn网路做色彩矫正，也有paper在做这方面的研究。

【Paper：《beyond a Gaussian denoiser：residual learning of deep cnn for image denoising》（超越高斯去噪：深度CNN图像去噪的残差学习）

《Modelling the Scene Dependent Imaging in Cameras with a Deep Neural Network》（基于深度神经网路的摄像机视景成像建模）】

上图是非常优秀的摄影专家拍摄的，左图说摄影专家手工调节白平衡，会发现深度学习做的白平衡（右图）比手工做的白平衡还要好。

上图例子中，用deeplearning去噪，发现去噪效果比我们知道所有的isp中的去噪模块加起来还要好，它的鲁棒性很好，因为对於单一模块来讲，非常大概率的能肯定deep learning的表现要比单一模块要好，即使deep learning有问题，但是它对整体的影响也比较小。如它只是白平衡做错了，10000张图片中只有1张做错了，其他模块没有问题，虽然出来的图不好看，但好歹也是过得去的。这种做法也有问题，isp需要大量的调参，这是非常艰巨的工作，像传统isp联合调参几千个参数要达到image test图像质量标准已经很难了，deep learning的参数更多，如果10个模块都改成深度学习网路，那参数的数量非常巨大不可想像。

参看：

飘哥：成像对机器视觉应用的影响（一）isp成像流程?

zhuanlan.zhihu.com
推荐阅读：