能不能研發一台攝像機,具備人眼的超超超超廣角,超超超超超穩定防抖,極速追焦,對象追蹤等功能?


不能,原因很簡單,相機沒有人體水平的計算單元,即大腦

說是計算能力,純信息流量來說,相機其實是優於大腦的,現階段最高端那批攝影機可以處理每秒千餘兆的信息(比如佳能1DX3,BMD的URSA MINI PRO 12k)

但是問題是,大腦不是簡單的二進位矽片。大腦是由神經元組成的,神經元對信息的處理方式到現在還是一個黑盒,但我們可知的是,這玩意對信息的處理效率不是一般的高……所以神經元模擬/深度學習在現在是計算機領域一個很熱門的話題,模擬神經元的計算單元在處理圖形內容時確實效率很高

人眼做到的很多事情,比如穩定性,比如視覺的清晰度,比如極高的寬容度比如超強的暗光可視能力,都是經由大腦處理的結果。

劃條分割線,這個話題感覺可以寫很多東西

本文非專業文章,以下內容純屬個人理解


1.防抖篇

我不是這個領域的,但我知道一個道理,想做好相機的防抖,運動部件是必不可少的。事實上,相機和鏡頭的五軸防抖已經非常強了(不信可以參考傅導@攝癮研究所 做的防抖視頻),但從原理上,不可能打得過三軸雲台的穩定性,因為三軸雲台做防抖運動的空間要寬裕得多。

眼球參與防抖的原理和相機不一樣。相機/鏡頭的五軸防抖靠的是cmos/鏡片組的運動補償,但眼球做不到,眼球的光學結構非常簡單,也非常穩定,你不能指望晶狀體和視網膜可以挪位置……那就出大事情了。

眼球做防抖主要是靠眼球周圍的眼肌,即眼球旋轉所使用的肌肉。大腦通過感知得知身體的運動狀態,然後讓眼肌在合適的時候調整一下眼球姿態,從而讓眼球在完整的運動狀態中可以保持一個相對比較穩定的姿態,從而獲得穩定的圖像

這個原理其實和三軸穩定器的原理是非常相似的同樣是靠感測器得到運動狀態,計算得何時需要補償以及補償的量,然後電機介入讓相機在運動過程中保持一個比較完整的姿態。事實上三軸穩定器可以做到的水平應該比眼球強多了,這東西在影視工業裡面有相當強大的產品,有興趣的朋友可以去找找看

除了三軸防抖,眼睛還有動態的圖像穩定。這個東西,在相機裡面叫做電子防抖。相機通過一定程度上裁切圖像的邊緣以獲得圖像平移的調整空間,結合感測器可以做到相當不錯的穩定效果,這個關注手機圈子的人應該相當熟悉,很多手機依靠電子防抖就做到相當離譜的穩定效果。

人眼的視角非常廣,同時邊緣的東西其實人眼是看不清的,這部分大腦一般不予過度關注。當人眼運動的時候,大腦就可以像電子防抖一般,一定程度上忽視運動幅度較大的部分(和電子防抖不一樣,「忽視」的內容人其實看得到的,只是看不清),讓人眼只關注在前面提到的運動矯正下清晰的部分,一定程度上就起到了防抖的效果。這樣「忽視」部分圖像的功能,近期開始被應用在了遊戲領域,用於減少GPU壓力

2.暗光篇

我們知道,單位像素麵積越大,在同樣的曝光情況下信噪比越高(這東西擴展開來能寫十篇論文,這裡不過多敘述)。人眼的解析度將近三億像素,相對於視網膜的面積來說其實是相當大的一個數了。

按理說,這麼高的像素麵積,應該在暗光條件下因為噪點太多看不清東西的才對,為什麼人眼可以看得清呢?

這裡就要提到一個nb的東西了!

視桿細胞

人眼在亮度充足的環境主要靠視錐細胞分辨顏色與亮度,且視錐細胞分為三種,分別感知紅綠藍三原色(眼不眼熟?拜耳陣列實錘)。問題來了,視錐細胞對弱光並不敏感,那暗光怎麼辦?

這個時候就是視桿細胞出場的時候了。

視桿細胞並不能感知顏色,它像是灰度感測器(或者說沒有拜耳分色濾鏡的黑白相機)。但是,它對光線非常敏感,而且數量是視錐細胞的18倍。這就奠定了眼球在暗光環境下看到事物的基礎。

但這其實並不足夠。仔細留意一下就知道了,暗光環境下其實人眼看東西是有很多噪點的,甚至是明亮環境下其實也會有很多顆粒。那為啥不仔細留意就感覺畫面還是很乾凈呢?

因為你腦袋裡有一個降噪能力爆炸強的神經計算機……啊不,大腦啊!

說白了,眼球的暗光畫面就是硬靠大腦降噪把亮度拉上來的。沒有大腦的降噪,稍微暗一點的環境噪點就能糊滿視線。

(其他晚點寫)


人眼強在腦補。你看得不太清楚,也會被腦補成失量圖,沒有像素,沒有色階。

所以,我一直認為AI增強拍照是未來大勢所趨。


人眼強是強在後面連著人腦。


就目前來說,不能。並不是像素的問題。現在相機只要花錢,可以堆到比人眼像素還要高。

人眼最厲害的,是低照度下的可視性,寬容度。

正常的人眼,在低照度下,也可以看的很清楚,比如昏暗的燈光,月光下。雖然相機長時間曝光出來後也會很清楚,但是你曝光得多久?50分之一秒?30分之一秒?人眼抬頭就可以看到星星,但是相機拍星空,大部分人都在15到30秒之間。

還有就是寬容度,在逆光的時候,你可以很清楚的看到陰影處的東西,但是相機,如果陰影拍清楚,陽光處必定過曝。如果陽光處不過曝,陰影必定很黑。 還有,相機拍紅色的東西很容易紅色溢出,人眼就不會。當然,人類最強的還有大腦,處理圖像的速度,超過目前所有大型計算機。


應該可以做的比眼睛好多了,人眼波長敏感區太短了


推薦閱讀:
相关文章