清华团队首次提出“类脑计算完备性”

北京时间10月14日,清华大学计算机科学与技术系(以下简称“计算机系”)、北京信息科学与技术国家研究中心张悠慧团队,精密仪器系(以下简称“精仪系”)施路平团队与合作者在《自然》(Nature)杂志发文,首次提出“类脑计算完备性”以及软硬件去耦合的类脑计算系统层次结构。这是清华大学计算机系以第一完成单位/通讯单位发表的首篇《自然》论文,也完成了清华大学一年多以来在《自然》正刊的类脑计算领域“三连发”。

与通用计算机的“图灵完备性”概念与“冯诺依曼”体系结构相对应,本篇题为《一种类脑计算系统层次结构》(A system hierarchy for brain-inspired computing)的论文首次提出“类脑计算完备性”以及软硬件去耦合的类脑计算系统层次结构,通过理论论证与原型实验证明该类系统的硬件完备性与编译可行性,并扩展了类脑计算系统应用范围使之能支持通用计算。类脑计算处于起步阶段,国际上尚未形成公认的技术标准与方案,这一成果填补了完备性理论与相应系统层次结构方面的空白,利于自主掌握新型计算机系统核心技术。

近年来,类脑计算研究受到了越来越多的关注。类脑计算,是借鉴生物神经系统信息处理模式和结构的计算理论、体系结构、芯片设计以及应用模型与算法的总称。其重要性正如欧盟人脑旗舰研究计划项目所指出的:“在未来10到20年内,谁要引领世界经济,谁就必须在这个领域领先。”

现有类脑计算系统方面的研究多聚焦于具体芯片、工具链、应用和算法的创新实现,而对系统基础性问题,例如计算完备性、系统层次结构等思考不足,导致软硬件紧耦合、应用范围不明确等一系列问题。但从现有通用计算机的发展历史与设计方法论来看,完善的计算完备性与软硬件去耦合的层次结构是计算系统蓬勃发展的计算理论与系统结构基础。

图灵完备性和冯·诺依曼体系结构(详见附录1)是通用计算机技术能够飞速发展并持续繁荣的关键因素——几乎所有的高级编程语言都是图灵完备的,冯·诺伊曼架构通用处理器则可以通过图灵完备的指令集实现图灵完备性,这意味着编程语言编写的任何程序都可以转换为任意图灵完备处理器上的等价指令序列(即“程序编译”)。这样,由软件层、编译层、硬件层组成的计算机层次结构就能够确保应用软件、指令集、硬件设计在独立发展的同时相互兼容(即软硬件去耦合),为整个领域的繁荣发展打下了系统基础。

但类脑计算领域在飞速发展的同时,却缺乏对此类基础问题的研究。为此,研究团队提出了“类脑计算完备性”(也称为神经形态完备性)概念——针对任意给定误差?≥0和任意图灵可计算函数f(x),如果一个计算系统可以实现函数 F(x) 使得 ‖F(x)-f(x)‖≤?对所有合法的输入x均成立,那么该计算系统是类脑计算完备的。

“通俗来讲,‘完备性’可以回答系统能够完成什么、功能边界在哪里等问题。研究完备性,可以为软硬件系统的解耦合、划分不同研究领域间的任务分工与接口提供理论基础,我们的研究聚焦完备性理论研究,先回答基本的问题。”张悠慧说。

相对于通用计算机,这一定义放松了对系统计算过程和精度的约束。团队进一步提出相应的类脑计算机层次结构和确保类脑计算完备性的硬件原语(相当于通用处理器的机器指令)来充分利用这一新完备性带来的优势。该结构具有三个层次(图1):图灵完备的软件模型;类脑计算完备的硬件体系结构;位于两者之间的编译层;并设计构造性转化算法将任意图灵可计算函数转换为类脑计算完备硬件上的模型,进而带来以下优点:第一是计算通用性,即判断系统功能的边界。面向应用的软件模型是图灵完备的,为支持各种应用程序(不限于神经网络类型)的编程提供基础。第二是编译可行性,即降低软硬件开发的耦合程度。通过上述硬件原语以及构造性转化算法,确保“图灵完备”软件与“类脑计算完备”硬件原语序列间的“类脑计算完备性”等价转换(如同通用计算机在“图灵完备性”保证下的“程序编译”),实现了软硬件去耦合,从而增强应用系统的开发效率。第三是引入新的系统设计与优化维度——近似粒度。

类脑计算机层次结构(左)与现有通用计算机(右)的对比

在上述理论与算法基础上,构建支持通用图形处理器、类脑天机芯片和基于阻变存储器的神经形态芯片(仿真)这三类硬件的软件工具链示例,并以智能自行车(作为神经网络应用代表)、鸟群模拟、QR分解(后两者作为非神经网络的通用计算应用代表)为示范应用,证实了设计的可行性,同时测试显示这一设计能够大幅提升系统优化空间,进而显著提升系统效能。

《自然》杂志的一位审稿人认为“这是一个新颖的观点,并可能被证明是神经形态计算领域以及对人工智能的追求的重大发展(This is a novel perspective and could prove to be a significant development for the field of neuromorphic computing, and in the quest for artificial general intelligence)”。计算机体系结构专家、华中科技大学计算机学院教授金海评价此项研究“在类脑计算系统领域做出了基础性、原创性的贡献,有利于自主掌握新型计算系统软硬件核心技术。”

论文的共同第一作者为清华大学计算机系研究员张悠慧、博士后渠鹏、博士生季宇、精仪系博士生张伟豪。共同通讯作者为张悠慧与施路平教授。其它合作者包括计算机系教授陈文光、计算机系教授郑纬民院士、原计算机系客座教授/美国特拉华大学电子与计算机工程系教授高光荣,以及来自精仪系、生物医学工程系、自动化系的师生。这项研究得到了清华大学、北京信息科学与技术国家研究中心、北京智源人工智能研究院、北京市“脑科学研究”科技专项计划、北京市未来芯片技术高精尖创新中心、科技部和国家自然基金委等单位的支持。

值得一提的是,从今年春节前夕投稿,到8月上旬正式接收,论文的两轮修改由各团队在疫情期间通过线上紧密合作完成。成员们努力克服交流不便、实验数据处理困难等问题,针对文章实验设计回复了超过70页的反馈文件。与审稿人的交流也使得小组人员对类脑计算有了更为深入的思考,目前,进一步研究已经展开。

文章的发表,意味着清华大学相关团队在一年多的时间内完成了类脑计算领域《自然》正刊三连发——从2019年8月1日的《自然》封面文章“Towards Artificial General Intelligence with Hybrid Tianjic Chip Architecture”(精仪系施路平教授团队与合作者)开始,到2020年初的“Fully hardware-implemented memristor convolutional neural network”的文章(微纳电子系吴华强教授团队与合作者),直至此次“A system hierarchy for brain-inspired computing”一文。上述论文分别从“异构融合的新型类脑计算芯片与系统”、“基于忆阻器件的神经形态芯片”、以及“类脑计算完备性与系统层次结构”等角度完成了类脑计算领域的首次实现,标志着清华大学在此领域的国际领先地位。

面对即将到来的计算机架构发展黄金十年,类脑计算被认为是最有希望的方案之一。清华大学团队所提出的类脑计算系统设计思路,是在现有计算机架构基础上,加入类脑计算芯片、从而引入空间复杂性和时空复杂性。这样既可以保持原有计算机处理结构化信息的的优势,又可以利用类脑计算芯片提升处理非结构化信息的能力。团队将坚持计算机科学和神经科学融合的技术路线,并充分利用新型非易失性存储器件(包括忆阻器)的特殊性质,发展适合这些器件的新的计算模型和算法,构建完全新型的智能计算体系。

文章链接:https://www.nature.com/articles/s41586-020-2782-y

附录1-图灵机与冯诺依曼系统结构

图灵机是英国数学家阿兰·图灵在1936年的文章《On Computable Numbers, with an Application to the Entscheidungsproblem》中提出的抽象计算模型。图灵机的基本思想源自人们用纸笔进行数学运算的核心操作:记录/修改符号和注意力在符号之间转移。

逻辑结构上图灵机由一条无限长的存储带和一个读写头组成,存储带被分割为一个个连续的格子,格子内可以存储一个字符(通常是‘0’,‘1’或空白),而读写头则可以从一个格子移动到另一个格子,并修改格子中的内容。控制读写头移动的“程序“,则通常被描述为一个有限状态机。

图灵机被视为现代计算机设计与算法的源头与基石,围绕图灵机诞生了一系列的重要的计算理论,其中就包括图灵完备性:(在忽略资源限制的前提下)任意逻辑系统(编程语言、软件系统、硬件系统等)如果具有等价于通用图灵机的计算能力(即可以与图灵机互相模拟),则该系统是图灵完备的。邱奇-图灵论题(该论题尚未被证明,但计算机领域普遍认为其为真)认为所有计算和算法都可以通过图灵机来执行。所以可以认为图灵完备性定义了当前计算机所能达到的能力极限。

冯·诺伊曼体系结构是由美国籍匈牙利裔数学家冯·诺伊曼于1946年提出的处理器体系结构模型。一般而言,冯·诺伊曼体系结构将处理器分为控制器、运算器、存储结构、输入输出设备等部分,是通用计算机硬件设计的范式。