图灵汇官网

近期，云天励飞推出了其最新款加速卡——IPU-X6000。这款产品在性能上展现出显著优势，配备了高达256T的算力、128GB的显存容量以及486GB/S的显存带宽。通过采用先进的C2C Mesh互联技术，IPU-X6000实现了卡间高速互联，最大带宽可达64GB/s，最多可连接64张卡。其应用范围广泛，适用于语言、视觉、多模态等各类大型模型的推理加速，已兼容包括云天天书、通义千问、百川智能、Llama2/3在内的近十个主流大型模型。

IPU-X6000搭载了国产工艺打造的高性能芯片DeepEdge200，采用了D2D Chiplet技术，这是基于云天励飞于2023年底发布的全国产14nm Chiplet大模型推理芯片DeepEdge10的最新成果。单卡性能强大，支持130B参数量的大型模型推理，在处理70B参数量的大型模型时，性能达到惊人的11 tokens/s，有望在大模型推理领域实现国产化替代。

随着大模型全面进入应用落地阶段，推理算力的需求呈指数级增长。据IDC预测，到2026年，中国数据中心用于推理的负载预计将占总负载的62.2%。作为国内人工智能领域的领军企业，云天励飞不仅在芯片、大模型等关键技术上持续投入研发，也在推动创新技术的实际应用，特别是在推理算力领域，已经做好了全面部署。

今年，云天励飞与德元方惠签署了合作协议，提供了总计约4000 PFLOPS的AI训练及推理异构算力服务，预计在未来三年内为公司带来约16亿的收入。IPU-X6000加速卡针对大模型推理任务而设计，构建了一套适应大模型发展趋势的统一工具链，包括分布式并行策略、基于硬件的流水线布局、先进的量化策略、多机并行的编译机制等，从而在同等条件下实现更高的推理性能和更低的成本。

未来，随着IPU-X6000加速卡的进一步应用，它将助力云天励飞的智算运营服务，为行业提供更加丰富和高效的算力解决方案。