如果達到標準是就是好的圖：

n sharpness：鏡頭

意思是照一張對比度很高的圖（邊緣很銳利的圖），通過鏡頭是否還很銳利，說明鏡頭的解析度存在問題，這一般要去診斷isp或者整個相機模具裡面有什麼問題，最先做的是sharpness case，如果這個sharpness case不過，就會大概率的去看鏡頭是否有問題。

n noise：去噪模塊

同sharpness中提到的一樣，如果噪音很大，性價比很低，會看去噪模塊是否有問題。

n dynamic-range：感測器性能，tone mapping

在一張相片中，dynamic-range很低，黑的太黑，亮的太亮，就去診斷感測器是否有問題，或者tone mapping演算法是不是魯棒

n color accuracy：ccm

如果照片存在問題，會去看Automatic white balance和Color Correction Matrix 是否存在問題。是不是顏色標定過程有問題

n distortion，uniformity：鏡頭

當distortion，uniformity有問題也會去看鏡頭，是不是鏡頭的fov遠遠大於需求了，比如fov太大，它的余暈效應很嚴重，distortion很大，但是應用不需要很大的distortion，不需要很廣的視角，

n moire：demosaic

上圖中第三行第一張color moire，它大概率是demosaic造成的。

以上其實帶有大量的經驗主義的東西在裡面，所以在提到問題都是用到大概率的詞來描述。這讓我們的調試變得及其困難。

我們希望讓調試的工作變得簡單。在不需要投入更多的人力物力，不需要依靠經驗主義的情況下來提高調試效率。

現在已經有人在想辦法用end to end dnn 深度學習的方法代替傳統的isp。

2018年cvpr上發了一篇paper《Learning to See in the Dark》（學習在黑暗中看世界），由UIUC的陳晨和Intel Labs的陳啟峰、許佳、Vladlen Koltun 合作提出的一種在黑暗中也能快速、清晰的成像系統，讓機器「看破」黑暗的論文，

輸入是拜耳陣列，把它分為三個layer，分解成rgb三個chanel，喂入Neural Network里，出來就是output rgb。其實這個網路代替了過去所有的isp pipe line，但技術還不成熟，離工業化還很遙遠，

Neural Network存在不可控性。基於物理性質的isp出問題是可以診斷出來或者看出來問題在哪裡。如一隻黃色的貓照出來是淡黃色的貓，覺得還ok，但是用deep learning Neural Network很可能是進來一隻黃色貓，出來變成一隻狗或則變成黑色的了，這是完全有可能的。 但是這篇paper沒有說完全代替傳統isp，paper中想了一個辦法，在極低的低光下，傳統isp是什麼都看不到的，如上圖左下邊是傳統isp的成像，完全是黑的，這種情況下出來的的圖就是noise，相對比用新技術得到的anything 都是big plus ，側面反映出它可能在全工況出的圖都是不錯的。但這是一個不錯的方向。

如果端到端的代替isp是有難度的，或者說很不可靠。每一個isp模塊都是基於標定或者基於某種假設，那是否用一個dnn網路代替isp的一個block。就是能不用用一個dnn網路做白平衡，一個dnn網路做色彩矯正，也有paper在做這方面的研究。

【Paper：《beyond a Gaussian denoiser：residual learning of deep cnn for image denoising》（超越高斯去噪：深度CNN圖像去噪的殘差學習）

《Modelling the Scene Dependent Imaging in Cameras with a Deep Neural Network》（基於深度神經網路的攝像機視景成像建模）】

上圖是非常優秀的攝影專家拍攝的，左圖說攝影專家手工調節白平衡，會發現深度學習做的白平衡（右圖）比手工做的白平衡還要好。

上圖例子中，用deeplearning去噪，發現去噪效果比我們知道所有的isp中的去噪模塊加起來還要好，它的魯棒性很好，因為對於單一模塊來講，非常大概率的能肯定deep learning的表現要比單一模塊要好，即使deep learning有問題，但是它對整體的影響也比較小。如它只是白平衡做錯了，10000張圖片中只有1張做錯了，其他模塊沒有問題，雖然出來的圖不好看，但好歹也是過得去的。這種做法也有問題，isp需要大量的調參，這是非常艱巨的工作，像傳統isp聯合調參幾千個參數要達到image test圖像質量標準已經很難了，deep learning的參數更多，如果10個模塊都改成深度學習網路，那參數的數量非常巨大不可想像。

參看：

飄哥：成像對機器視覺應用的影響（一）isp成像流程?

zhuanlan.zhihu.com
推薦閱讀：