荷兰研究人员开发出新技术,通过AI芯片的片上训练来降低功耗

图灵汇官网

导览

2023年7月22日,荷兰埃因霍温理工大学的研究团队公布了一项创新成果——研发出一款新型设备,其特色在于能在芯片内部进行训练操作,无需额外传输训练完毕的模型至芯片。这一突破预示着未来人工智能(AI)芯片能更加节能。

该设备采用了神经形态架构,且兼容主流AI框架,而非依赖于脉冲网络。相较于传统方法,训练神经形态网络往往耗费大量时间和能源,因为流程通常先在电脑上完成,随后再将模型转移至芯片上。

技术解析

项目负责人、TU/e机械工程系副教授Yoeri Van de Burgt解释道:“在神经形态芯片中,存在忆阻器——一种可以‘记忆’电荷流动情况的电路设备。”这种特性模仿了大脑神经元如何存储信息及相互交流,成为设备的核心设计灵感。

在计算机完成训练后,网络权重被直接映射至芯片硬件。然而,目前的原位训练方法需要逐个编程并进行错误校验,这是由于大多数忆阻器具有随机性,不进行检查会导致无法更新设备。

“现有的方法在时间和能源消耗方面成本高昂。要真正发挥神经形态芯片的节能优势,必须在芯片上直接进行训练。”Van de Burgt指出。

创新挑战

研究团队面临的主要挑战是将芯片上训练所需的组件整合至单一神经形态芯片内。具体而言,他们需解决包含电化学随机存取存储器(EC-RAM)组件的任务,这些组件模拟了大脑中神经元的电荷存储和发射功能。

实验与验证

研究人员制作了一个基于有机材料制成的EC-RAM组件的双层神经网络,并通过广泛应用的训练算法——反向传播和梯度下降的演变版本,对其硬件进行了测试。反向传播算法的硬件实现采用原位随机梯度下降,逐层更新,减少了存储需求。设计中包含了原位误差计算和多层硬件实现的渐进式反向传播方法,其学习特性和分类性能与传统软件中的反向传播相同,适用于大型和深度神经网络,实现了高效的AI系统训练。

展望与合作

研究人员表示,这项技术已成功应用于小型双层网络,未来希望吸引工业界和其他大型研究实验室的参与,共同构建更大规模的硬件设备网络,并用实际问题数据进行测试。目标是证明这些系统在训练和运行有用的人工智能网络方面极为有效,并期待将技术应用于多个实际案例,以期在未来使其成为AI应用的标配。

结语

这项创新不仅展示了在芯片级执行AI训练的可能性,也为AI技术的未来发展开辟了节能的新路径。随着更多合作与实践,这一技术有望加速AI在各领域的普及与应用。

本文来源: 互联网 文章作者: 老陈盘点
    下一篇

导读:7月23日消息,特斯拉、X、xAI CEO 埃隆马斯克 (Elon Musk)近日在X平台上宣布,自己已经启动了世界上最强大的 AI 集群,以在今年12 月之前创建世界上最强大的AI该系统在单个