钱鹤、吴华强教授团队研制出人工树突器件,实现新型神经网络

近日,清华大学微电子所、未来芯片技术高精尖创新中心、信息国家研究中心钱鹤、吴华强教授团队与合作者在《自然?纳米科技》(Nature Nanotechnology)在线发表了题为“基于人工树突的高效神经网络”(Power-Efficient Neural Network with Artificial Dendrites)的研究论文,通过引入具有丰富动态特性的人工树突计算单元,构建了包含突触、树突以及胞体的新型人工神经网络,在提高网络计算准确率的同时显著降低了系统功耗。

包含树突计算的新型人工神经网络示意图

生物神经元中的树突具有非常复杂的拓扑结构和动态过程,人脑中的树突尤其复杂。许多生物神经系统的研究表明树突具有非常重要的非线性时空信息处理功能,它是大脑能够在处理复杂任务的同时保持低功耗的重要原因之一。当前的人工神经网络大多将神经元简化成了简单的点模型,将其计算功能简化成积分-发放(integrate-and-fire),忽略了树突的信息处理功能。这样的简化使得人工神经网络与生物神经网络相比,在复杂任务处理的灵活性、鲁棒性和功耗上仍存在很大的差距。

受生物神经系统中电化学动态过程启发,该研究团队通过材料体系遴选与器件结构设计,制备出了一种能够模拟树突功能的新原理器件,成功复现了生物树突对信号的非线性过滤、积分以及对时间信号的处理方式。为了验证人工树突器件的计算功能,团队还将所研制的人工树突器件与基于导电细丝的突触器件、基于莫特(Mott)相变的胞体器件进行集成,构建了包括突触、树突、胞体三种重要计算单元的新型人工神经网络。实验结果显示,由于树突功能的引入,该网络在处理具有复杂背景噪声的街景门牌号(SVHN)数据集时,胞体的动态功耗降低30倍,网络的准确率提高8%以上,系统评估整体功耗比CPU降低3个数量级。未来通过器件、算法、电路、架构的协同创新与优化,有望进一步提高人工神经网络处理复杂时空任务的能力,构建更加智能化的低功耗神经网络。

受生物启发制备的新原理树突器件,复现了生物树突对信号的非线性过滤、积分等功能。

集成了突触、树突、胞体三种计算单元的新型人工神经网络,在SVHN数据集上验证了功耗和准确率上的显著优势。

钱鹤、吴华强教授团队长期致力于基于忆阻器的存算一体芯片技术研究,从器件性能优化、工艺集成、电路设计及架构与算法等多层次实现创新突破,先后在《自然》(Nature)、《自然·电子》(Nature Electronics)、《自然·通讯》(Nature Communications)、《先进材料》(Advanced Materials)等顶级期刊以及国际电子器件会议(IEDM)、国际固态半导体电路大会(ISSCC)等领域内顶级国际学术会议上发表多篇论文。

清华大学微电子所吴华强教授是本论文的通讯作者,清华大学微电子所李辛毅博士、唐建石助理教授和张清天博士为论文的共同第一作者。该研究与清华大学医学院及脑与智能实验室宋森研究员、美国麻省大学杨建华教授、阿里巴巴达摩院谢源教授、加州大学圣芭芭拉分校邓磊博士等合作完成。清华大学的研究人员得到了国家自然科学基金委、科技部重点研发计划、北京市科委、北京信息科学与技术国家研究中心等支持。