英特尔 Gaudi 2D AI 加速器为 DeepSeek Janus Pro 模型进行优化

图灵汇官网

近日,DeepSeek 发布了 Janus Pro 模型,该模型已经经过英特尔 Gaudi 2D AI 加速器的优化,旨在推动AI应用的实际落地和规模化发展。

DeepSeek 的 Janus 模型融合了多模态理解和生成的功能,首次采用了统一的Transformer架构,打破了传统AIGC模型依赖多路径视觉编码的局限,实现了理解和生成任务的一体化支持。在此基础上,Janus Pro 通过改进训练策略和扩大模型规模,显著提升了文本到图像生成等功能的性能和稳定性,提供了10亿参数和70亿参数两种版本。

英特尔 Gaudi 2D凭借其2.45TB/s的高带宽和96GB的HBM大容量内存,为Janus Pro模型提供了强大的计算支持,使得该模型在处理图像批量生成任务时,随着批量大小的增加,吞吐性能显著提升,大幅减少了处理时间。

此外,借助英特尔Optimum-Habana框架的优化,英特尔Gaudi 2D不仅提高了文本到图像生成任务的吞吐量和推理效率,还能在大约10秒内生成16张高质量的图片。同时,开发者只需修改少量代码就能实现这一效果,大大降低了开发门槛和迁移成本。DeepSeek的蒸馏模型也在至强和Gaudi平台上得到了支持。

本文来源: 图灵汇 文章作者: 龙龙网
    下一篇

IT之家的家友们,蛇年吉祥!在这个农历新年期间,科技界却并不平静...距离 OpenAI 发布由 GPT-3.5 模型驱动的 ChatGPT 聊天机器人,已经过去了两年多的时间。在这两年间,不管是微软