最害怕媒体报道科技成果中出现的『全球最大』『世界首个』之类的辞汇了。

浙江大学类脑计算机的研制,貌似从很早就开始做了,2016年就发布了类脑晶元『达尔文』,号称是『首款支持脉冲神经网路』的类脑晶元;2019年浙大的脑机介面相关研究被报道,貌似也与此有关。

不过,关于『脉冲神经网路』(SNN)相关研究,IBM、斯坦福大学、arm等貌似进展更胜一筹。感觉浙大这次类脑计算机,也是围绕支持SNN的产物——达尔文晶元就是瞄准支持SNN开发的,恐怕这也是为何其能耗可以做得这么低的原因?

我专业非常有限,只能做以上粗浅的理解,求知乎大神或当事人出来说说,这个类脑计算机到底什么成色?类脑计算时代来了吗?

附上浙大新闻链接:

重磅!我国科学家成功研制全球神经元规模最大的类脑计算机?

mp.weixin.qq.com


谢题主邀请,我认为「类脑计算时代」 远远没有到来。我觉得媒体也不要总是要想搞一个大新闻。不管是神经网路模型,还是TPU/NPU这种神经网路专用处理器,都是由神经科学/认知科学启发,但是其本质都是由计算机科学/电子工程推动的一项具体计算技术。一味上升到哲学高度,而忽视脚踏实地的技术,只会让AI泡沫面临再次破裂的风险。

就拿深度学习来说,神经科学在其中起到的作用仅仅是给出一个灵感,但最终要落实到具体的技术上。确实,深度学习研究者比起其他机器学习领域(贝叶斯,核方法等)更可能引用大脑作为参考,但基础的推动力仍然是应用数学如线性代数,概率论,资讯理论和数值优化。

对于类脑计算,具体的推动力仍然是计算机体系结构的发展。而只要计算机科学底层基座没有变动(如量子计算投入使用),从多核CPU,到GPU,到FPGA/TPU/NPU,不管是不是非冯结构,本质上都是人类对于摩尔定律终结的最后的反抗,而最终体系结构的发展总有一个天花板,或者是速度或者是功耗。就目前的体系结构而言,而想达到能够模拟大脑的计算能力远远不够

GoodFellow在他的著作《Deep Learning》中就谈到脑科学/神经科学和深度学习的关系。他认为「如今神经科学在深度学习的研究中作用被削弱,主要原因是我们根本没有足够关于大脑的信息做为指导去使用它。要获得对被大脑使用的演算法的深刻理解,我们需要有能力同时监测(至少是)数千相连的神经元的活动。我们不能够做到这一点,我们甚至连大脑最简单、最深入研究的部分都还远远没有理解」。

与之矛盾的是,我国的很多媒体(包括高校的很多专家)经常过分渲染人工智慧与脑科学或认知科学的关系,总喜欢提及「类脑智能」「类脑计算机」。在脑科学没有得到足够的发展的情况下,我不认为深度学习模型亦或是TPU/NPU这种专用晶元是在完全模拟大脑,至多算是一种局部的模仿,就像启发式优化中的智能演算法,或是无人机领域引入仿生学研究,本质上是人类受到智能的启发,来完成其他的计算目的。

我相信GPU,TPU,NPU,DSP等新型计算机体系结构的发展会加速神经网路模型的训练和推理,对于工业界的应用无疑是一个福音,但是过分渲染「类脑」「神经元规模最大」只会起到适得其反的效果。我们可以从哲学意义上去欣赏AI,但同样也需要脚踏实地和实事求是,距离真正的「类脑智能」还有很长的路要走。

参考文献:

[1]John L.Hermessy. 计算机体系结构:量化研究方法[M]. 北京:机械工业出版社,2012

[2]Ian Goodfellow. 深度学习[M]. 北京:人民邮电出版社,2017


重要结论放前面:给我感觉,业界和这个「类脑」最接近的一个研究方向是存内计算(In-memory computing)

至于题主补充的」首款支持脉冲神经网路(SNN)「的类脑晶元,原文提到用了「792颗浙江大学研制的达尔文2代类脑晶元」,所有我猜这个:

这是个可以跑SNN的采用存内计算结构(或者借鉴了存内计算模式)的计算机。


看到这种新闻,『全球最大』『世界首个』,就感觉有点水深,有点不敢趟。如果有当事人出来答那就好了。我猜测可能写稿的人和研发的人不一样,所以稿子写得有点玄乎其玄了。那么在当事人出来前,就文中提到的内容,我来分析和猜想下,如果错误与遗漏,欢迎指正,大家一起研究与学习。如果报道没有虚假的成分,那么这个架构的计算机有几个讨论的点:

存内计算

虽然原文中没直接提到「存内计算」这个词,只是说「类脑」,但从他的描述(什么内存墙限制bla bla bla的),这就是存内计算。原文不直接提这个词,是否技术上有不一样的设计?或者只是纯粹避开别人造的名词?(评论区有个补充了达尔文晶元的文献,感觉并不是简单的存内计算)

不过稿子里也很诚实,没有把功劳把自己身上揽

全球科学家们再次将目光瞄准到模仿生物大脑这个最初的梦想,通过模拟人脑结构与运算机制来发展新的计算技术,以期实现高能效与高智能水平的计算。

是「全球科学家」而非「浙大研究员」,说明这个研究还是跟随著全球研究的方向,并非首创的。

看到这里应该还有读者没懂,存内计算到底是什么?那就要从我们目前的计算机结构说起。

我们使用的计算机多数是冯诺伊曼架构。冯诺伊曼架构在构建之初的假设就是处理器和内存的速度很接近。

冯诺依曼结构,图源维基百科

然而,随著摩尔定律的演进,这一假设早已不再成立。DRAM的性能提升速度远远慢于处理器速度,成为了整体计算机性能的瓶颈之一,人称「内存墙」。

为了打破这个瓶颈,需要把计算存储放在一起,这就是业内所说的「存内计算(in-memory computing)」。存内计算,顾名思义就是直接在存储内做计算。其实存内计算也不是浙大首创的,2018年MIT Chandrakasan研究组在ISSCC上也发表过这类研究[1],,就是把computer和memory的部分作为一体了。

图源参考【1】

当然,并不是把compute模块和memory打包一起就叫存内计算的。存内计算有著几个技术挑战[2],例如硬体资源的复用问题、存算一体化单元的设计问题、模拟量运算的实现问题等,目前还没取代冯诺依曼计算机的可能,短期内可看到的应用场景主要是物联网。

除了MIT,浙大,也有其他机构在做相关项目研究,例如IBM[3],斯坦福大学和桑迪亚国家实验室[4]等等。

功耗低?

我们人脑的功耗是20瓦,350-500瓦的功耗也只是比人脑高一个数量级,在计算机中看似非常低了。根据文中描述, 是通过「休眠部门不活跃神经元」来减低功耗。

但原文说这个功耗是「运行功耗」?是否指的是在推断过程中的功耗?还是推断过程中的功耗增量?暴力美学集大成者GPT-3做文本生成时功耗也只是400 瓦,浙大这个计算机如果是推断过程的功耗增量,那确实感觉没太大亮点。不过那篇稿件是面向公众的通告,所以没写到这么细。如果单单机器功耗就只有350-500瓦,那还是不错的,这么大的玩意竟然和我们家用电脑功耗差不多。

其他?

」近千亿神经突触,功耗350-500瓦。「

如果你看著描述,还以为在描述前些天发布的GPT-3。当然,GPT-3是个模型,这是个计算机结构,这么比较可能不太合适。

不过文中一笔带过但我很感兴趣的:

可「意念」打字输入。

这比马斯克的脑机晶元还牛???不是我对浙大没信心,但这个听起来有点悬。是否夸大其词了?还是只是打「空气键盘」,然后用神经网路识别了?又或者是霍金用的那种打字方法?可惜,只是一笔带过了。

不过能看出在架构上,还是做了新尝试(虽然这个尝试别人也做过,但目前还是在起步阶段)。

参考

  1. ^CONV-SRAM: An Energy-Efficient SRAM With In-Memory Dot-Product Computation for Low-Power Convolutional Neural Networks https://dspace.mit.edu/bitstream/handle/1721.1/122468/JSSC2019_manuscript.pdf?sequence=1isAllowed=y
  2. ^存内计算技术发展趋势分析 http://tow.cnki.net/kcms/detail/detail.aspx?filename=DXWJ201909025dbcode=CRJT_CJFDdbname=CJFDTEMPv=
  3. ^IBM研究院用「内存内计算」实现脑启发式的超维计算 http://www.aeroinfo.com.cn/Item/36616.aspx
  4. ^最新Science:类脑「人造突触」实现运算存储同步,能耗仅需计算机的十分之一 https://cloud.tencent.com/developer/article/1424715


历史上的技术革命都出现在泡沫消失之后的几年内。

比如AI,物联网之类的商业辞汇,本身就是在吹,吹了就有资本,有了资本就能做事,当然这些资本到底多少用于做事,就不清楚了。不过这个循环是没错的,你再有东西,也得有资金支持。

当然搞个大新闻这种事本身,尤其是我们理工科生可能十分厌恶。

取得了60分,吹成100分,和爸妈要了100块钱,希望用这100块买点辅导书什么的,别光吃吃喝喝。


感觉这个规模最大的类脑计算机的意义,远远不如清华大学类脑计算研究团队的 天机芯 。

可能 Darwin Mouse 最大的突破点就是规模最大,至少目前在应用上或者原理上还看不到很里程碑的创新点,所以关于「规模最大」这个点,就说两句话。

  1. 在 AI 界甚至是 AGI 界应该有个共识——奥卡姆剃刀原理:如无必要,勿增实体。如果是 GPT-3, 在规模巨大的情况下实现了 NLP 的一个大突破,那我们很喜欢它;但如果 Darwin Mouse 在目前这个规模下,所能实现的成果并没有什么突破,那么我们就应该以批判它为主,而不是去赞颂它。(当然,批判不等于拒绝,真正的类脑计算机是需要一步一步地实现的)
  2. 其实 Yann LeCun 在 ISSCC 2019 上说的很有道理:Why we build the chip for the algorithm that dont work ? 在类脑计算 (Neuromorphic Computing) 真正发展成熟之前,我们不应该过多地直接为它设计专用晶元甚至专用计算机 (据我片面的调研,SNN 目前在反向传播演算法上还有待斟酌 (DAC 2020 ROAD4NN) )。

因此,现在我们离真正的类脑计算机应该还是有很大一段距离的,个人认为研究路径应该是这样的:类脑计算原理-&>类脑计算晶元-&>类脑计算机-&>大规模类脑计算机。类脑计算原理的发展不仅仅要靠计算机科学或者人工智慧的发展,还要靠脑科学的发展,而后者相对前者是滞后的,因此更不必说将两者彻底融合产生突破性类脑计算原理了。当然,我们不拒绝从现在开始发展类脑计算晶元,只是希望不要好高骛远、步子太大。天机芯就找到了这个平衡,它没有使用单一的纯类脑计算,而是将类脑计算和传统机器学习两者进行了异构融合,从而具有更突破性的意义。


别拿外宣软文当科研。

从运行机制,传导介质,功能突破3个方面考虑,这玩意都只是有点小创新,没有什么划时代的意义。

至于所谓「规模最大」,更是无机之谈。就3个机柜,神特么规模,还没有移动公司一个交换机房规模大好不啦?就是能吹。然后那个「最大」……还好外宣不是广告,不然举报一下,分分钟让他们哭出来。

说实话,具体到辽宁省铁岭市莲花乡池水沟子一组五号家的洗手间,你站进去你也是「世界上最靓的仔」,因为除了马桶水箱热水器,也咩有别的人跟你比啊。

脉冲?冲不冲的,仍旧还是信息的电传导,并没有什么改变。

在人的神经网路中,细胞内信息传导是电传导,遵守「全或无」的法则,要么不发生信息传导,要么全部传导不会有损失。从这一角度上讲,啥类脑,都是花头,在本质上就没有突破。

如果能解决这个问题,类脑计算机就能变得更加智能。

不得不说,这写外宣的笔杆子不过硬啊。

首先,解决这个信息丢失损伤问题,不过是在运行机制上更像真的遵守了细胞内「全或无」的法则。而且这个法则不适用于细胞间传导。

其次,智能什么时候是由信息损伤不损伤的问题来决定的了?如果这个点站得住脚,无损音乐是不是可以换个名字叫智能音乐,冷军的油画是不是可以叫智能油画,兰州拉面切的牛肉片就是智能牛肉片呗?

然而神经网路中,细胞间的神经冲动传导压根就不是电传导,在传导介质上讲,实际是化学传导

如果从这个角度讲,神特么类脑。乐高搭的糖果工厂再逼真,过家家的时候能生产巧克力吃不?就是个便于拓展的模块化设计,在这吹啥牛AC呢?

最后,类脑计算机与普通计算机有什么区别?

我就问魔都迪士尼卖的火鸡腿跟全家卖的手枪腿有什么区别

如果真的有区别,最大的区别大概就是这个「达尔文」操作系统了吧。

话说,之前我一直以为ATM机里面有银行柜员来的。后来我知道我错了。因为站在ATM身后的男人不是银行柜员,是程序猿。


推荐阅读:
相关文章