能不能研发一台摄像机,具备人眼的超超超超广角,超超超超超稳定防抖,极速追焦,对象追踪等功能?


不能,原因很简单,相机没有人体水平的计算单元,即大脑

说是计算能力,纯信息流量来说,相机其实是优于大脑的,现阶段最高端那批摄影机可以处理每秒千余兆的信息(比如佳能1DX3,BMD的URSA MINI PRO 12k)

但是问题是,大脑不是简单的二进位矽片。大脑是由神经元组成的,神经元对信息的处理方式到现在还是一个黑盒,但我们可知的是,这玩意对信息的处理效率不是一般的高……所以神经元模拟/深度学习在现在是计算机领域一个很热门的话题,模拟神经元的计算单元在处理图形内容时确实效率很高

人眼做到的很多事情,比如稳定性,比如视觉的清晰度,比如极高的宽容度比如超强的暗光可视能力,都是经由大脑处理的结果。

划条分割线,这个话题感觉可以写很多东西

本文非专业文章,以下内容纯属个人理解


1.防抖篇

我不是这个领域的,但我知道一个道理,想做好相机的防抖,运动部件是必不可少的。事实上,相机和镜头的五轴防抖已经非常强了(不信可以参考傅导@摄瘾研究所 做的防抖视频),但从原理上,不可能打得过三轴云台的稳定性,因为三轴云台做防抖运动的空间要宽裕得多。

眼球参与防抖的原理和相机不一样。相机/镜头的五轴防抖靠的是cmos/镜片组的运动补偿,但眼球做不到,眼球的光学结构非常简单,也非常稳定,你不能指望晶状体和视网膜可以挪位置……那就出大事情了。

眼球做防抖主要是靠眼球周围的眼肌,即眼球旋转所使用的肌肉。大脑通过感知得知身体的运动状态,然后让眼肌在合适的时候调整一下眼球姿态,从而让眼球在完整的运动状态中可以保持一个相对比较稳定的姿态,从而获得稳定的图像

这个原理其实和三轴稳定器的原理是非常相似的同样是靠感测器得到运动状态,计算得何时需要补偿以及补偿的量,然后电机介入让相机在运动过程中保持一个比较完整的姿态。事实上三轴稳定器可以做到的水平应该比眼球强多了,这东西在影视工业里面有相当强大的产品,有兴趣的朋友可以去找找看

除了三轴防抖,眼睛还有动态的图像稳定。这个东西,在相机里面叫做电子防抖。相机通过一定程度上裁切图像的边缘以获得图像平移的调整空间,结合感测器可以做到相当不错的稳定效果,这个关注手机圈子的人应该相当熟悉,很多手机依靠电子防抖就做到相当离谱的稳定效果。

人眼的视角非常广,同时边缘的东西其实人眼是看不清的,这部分大脑一般不予过度关注。当人眼运动的时候,大脑就可以像电子防抖一般,一定程度上忽视运动幅度较大的部分(和电子防抖不一样,「忽视」的内容人其实看得到的,只是看不清),让人眼只关注在前面提到的运动矫正下清晰的部分,一定程度上就起到了防抖的效果。这样「忽视」部分图像的功能,近期开始被应用在了游戏领域,用于减少GPU压力

2.暗光篇

我们知道,单位像素面积越大,在同样的曝光情况下信噪比越高(这东西扩展开来能写十篇论文,这里不过多叙述)。人眼的解析度将近三亿像素,相对于视网膜的面积来说其实是相当大的一个数了。

按理说,这么高的像素面积,应该在暗光条件下因为噪点太多看不清东西的才对,为什么人眼可以看得清呢?

这里就要提到一个nb的东西了!

视杆细胞

人眼在亮度充足的环境主要靠视锥细胞分辨颜色与亮度,且视锥细胞分为三种,分别感知红绿蓝三原色(眼不眼熟?拜耳阵列实锤)。问题来了,视锥细胞对弱光并不敏感,那暗光怎么办?

这个时候就是视杆细胞出场的时候了。

视杆细胞并不能感知颜色,它像是灰度感测器(或者说没有拜耳分色滤镜的黑白相机)。但是,它对光线非常敏感,而且数量是视锥细胞的18倍。这就奠定了眼球在暗光环境下看到事物的基础。

但这其实并不足够。仔细留意一下就知道了,暗光环境下其实人眼看东西是有很多噪点的,甚至是明亮环境下其实也会有很多颗粒。那为啥不仔细留意就感觉画面还是很干净呢?

因为你脑袋里有一个降噪能力爆炸强的神经计算机……啊不,大脑啊!

说白了,眼球的暗光画面就是硬靠大脑降噪把亮度拉上来的。没有大脑的降噪,稍微暗一点的环境噪点就能糊满视线。

(其他晚点写)


人眼强在脑补。你看得不太清楚,也会被脑补成失量图,没有像素,没有色阶。

所以,我一直认为AI增强拍照是未来大势所趋。


人眼强是强在后面连著人脑。


就目前来说,不能。并不是像素的问题。现在相机只要花钱,可以堆到比人眼像素还要高。

人眼最厉害的,是低照度下的可视性,宽容度。

正常的人眼,在低照度下,也可以看的很清楚,比如昏暗的灯光,月光下。虽然相机长时间曝光出来后也会很清楚,但是你曝光得多久?50分之一秒?30分之一秒?人眼抬头就可以看到星星,但是相机拍星空,大部分人都在15到30秒之间。

还有就是宽容度,在逆光的时候,你可以很清楚的看到阴影处的东西,但是相机,如果阴影拍清楚,阳光处必定过曝。如果阳光处不过曝,阴影必定很黑。 还有,相机拍红色的东西很容易红色溢出,人眼就不会。当然,人类最强的还有大脑,处理图像的速度,超过目前所有大型计算机。


应该可以做的比眼睛好多了,人眼波长敏感区太短了


推荐阅读:
相关文章