最害怕媒体报道科技成果中出现的『全球最大』『世界首个』之类的辞汇了。
浙江大学类脑计算机的研制,貌似从很早就开始做了,2016年就发布了类脑晶元『达尔文』,号称是『首款支持脉冲神经网路』的类脑晶元;2019年浙大的脑机介面相关研究被报道,貌似也与此有关。
不过,关于『脉冲神经网路』(SNN)相关研究,IBM、斯坦福大学、arm等貌似进展更胜一筹。感觉浙大这次类脑计算机,也是围绕支持SNN的产物——达尔文晶元就是瞄准支持SNN开发的,恐怕这也是为何其能耗可以做得这么低的原因?
我专业非常有限,只能做以上粗浅的理解,求知乎大神或当事人出来说说,这个类脑计算机到底什么成色?类脑计算时代来了吗?
附上浙大新闻链接:
重磅!我国科学家成功研制全球神经元规模最大的类脑计算机?mp.weixin.qq.com
谢题主邀请,我认为「类脑计算时代」 远远没有到来。我觉得媒体也不要总是要想搞一个大新闻。不管是神经网路模型,还是TPU/NPU这种神经网路专用处理器,都是由神经科学/认知科学启发,但是其本质都是由计算机科学/电子工程推动的一项具体计算技术。一味上升到哲学高度,而忽视脚踏实地的技术,只会让AI泡沫面临再次破裂的风险。
就拿深度学习来说,神经科学在其中起到的作用仅仅是给出一个灵感,但最终要落实到具体的技术上。确实,深度学习研究者比起其他机器学习领域(贝叶斯,核方法等)更可能引用大脑作为参考,但基础的推动力仍然是应用数学如线性代数,概率论,资讯理论和数值优化。
对于类脑计算,具体的推动力仍然是计算机体系结构的发展。而只要计算机科学底层基座没有变动(如量子计算投入使用),从多核CPU,到GPU,到FPGA/TPU/NPU,不管是不是非冯结构,本质上都是人类对于摩尔定律终结的最后的反抗,而最终体系结构的发展总有一个天花板,或者是速度或者是功耗。就目前的体系结构而言,而想达到能够模拟大脑的计算能力远远不够。
GoodFellow在他的著作《Deep Learning》中就谈到脑科学/神经科学和深度学习的关系。他认为「如今神经科学在深度学习的研究中作用被削弱,主要原因是我们根本没有足够关于大脑的信息做为指导去使用它。要获得对被大脑使用的演算法的深刻理解,我们需要有能力同时监测(至少是)数千相连的神经元的活动。我们不能够做到这一点,我们甚至连大脑最简单、最深入研究的部分都还远远没有理解」。
与之矛盾的是,我国的很多媒体(包括高校的很多专家)经常过分渲染人工智慧与脑科学或认知科学的关系,总喜欢提及「类脑智能」「类脑计算机」。在脑科学没有得到足够的发展的情况下,我不认为深度学习模型亦或是TPU/NPU这种专用晶元是在完全模拟大脑,至多算是一种局部的模仿,就像启发式优化中的智能演算法,或是无人机领域引入仿生学研究,本质上是人类受到智能的启发,来完成其他的计算目的。
我相信GPU,TPU,NPU,DSP等新型计算机体系结构的发展会加速神经网路模型的训练和推理,对于工业界的应用无疑是一个福音,但是过分渲染「类脑」「神经元规模最大」只会起到适得其反的效果。我们可以从哲学意义上去欣赏AI,但同样也需要脚踏实地和实事求是,距离真正的「类脑智能」还有很长的路要走。
参考文献:
[1]John L.Hermessy. 计算机体系结构:量化研究方法[M]. 北京:机械工业出版社,2012
[2]Ian Goodfellow. 深度学习[M]. 北京:人民邮电出版社,2017
重要结论放前面:给我感觉,业界和这个「类脑」最接近的一个研究方向是存内计算(In-memory computing)
至于题主补充的」首款支持脉冲神经网路(SNN)「的类脑晶元,原文提到用了「792颗浙江大学研制的达尔文2代类脑晶元」,所有我猜这个:
这是个可以跑SNN的采用存内计算结构(或者借鉴了存内计算模式)的计算机。
看到这种新闻,『全球最大』『世界首个』,就感觉有点水深,有点不敢趟。如果有当事人出来答那就好了。我猜测可能写稿的人和研发的人不一样,所以稿子写得有点玄乎其玄了。那么在当事人出来前,就文中提到的内容,我来分析和猜想下,如果错误与遗漏,欢迎指正,大家一起研究与学习。如果报道没有虚假的成分,那么这个架构的计算机有几个讨论的点:
存内计算
虽然原文中没直接提到「存内计算」这个词,只是说「类脑」,但从他的描述(什么内存墙限制bla bla bla的),这就是存内计算。原文不直接提这个词,是否技术上有不一样的设计?或者只是纯粹避开别人造的名词?(评论区有个补充了达尔文晶元的文献,感觉并不是简单的存内计算)
不过稿子里也很诚实,没有把功劳把自己身上揽
全球科学家们再次将目光瞄准到模仿生物大脑这个最初的梦想,通过模拟人脑结构与运算机制来发展新的计算技术,以期实现高能效与高智能水平的计算。
是「全球科学家」而非「浙大研究员」,说明这个研究还是跟随著全球研究的方向,并非首创的。
看到这里应该还有读者没懂,存内计算到底是什么?那就要从我们目前的计算机结构说起。
我们使用的计算机多数是冯诺伊曼架构。冯诺伊曼架构在构建之初的假设就是处理器和内存的速度很接近。