IBM全新光学技术可缩短GPU闲置时间,大幅加快AI模型训练速度

图灵汇官网

IBM 发布新型光学技术,大幅提升AI模型训练效率

图灵汇报道,IBM 近日宣布成功研发了一种全新的光学技术,该技术能够以光速训练AI模型,并且大幅度节约能源。据IBM透露,若将此技术应用到数据中心,训练一个AI模型所节省的能源量相当于5000个美国家庭一年的能源消耗。

虽然数据中心通常利用光纤电缆与外界相连,但内部依然依赖铜线。这些铜线连接着GPU加速器,在等待来自其他设备的数据时,GPU加速器会浪费大量时间处于空闲状态,这不仅消耗能源,还增加了运营成本。

IBM高级副总裁兼研究总监Dario Gil指出:“随着生成式AI对更多能源和处理能力的需求日益增长,数据中心需要进行升级。共封装光学技术(CPO)正是为了满足这种需求而设计的。通过这一创新,未来的芯片将如同光纤电缆那样,实现高效的数据传输,开启一个更快、更可持续的通信时代,能够应对未来的AI工作负载。”

此外,IBM在一篇技术论文中详细介绍了其最新的CPO原型。该原型通过显著提升数据中心的带宽,最大限度减少了GPU的空闲时间,从而加速了AI处理过程。IBM称,大型语言模型(LLM)的训练周期可以从原来的三个月缩短至三周。与此同时,更高的能效也有助于降低能源消耗,并减少与训练LLM相关的成本。

本文来源: 互联网 文章作者: 长江商学院
    下一篇

导读:12月11日消息,继OpenAI在周二凌晨两点发布人工智能视频生成工具Sora之后,该公司在周三凌晨两点的活动中向全体ChatGPT用户正式开放交互界面Canvas。今年10月初,OpenAI向