在AI技术体系中,深度学习框架扮演着“承上启下”的关键角色,它不仅支持多样化的计算能力,还促进了各种算法模型的发展,是大模型产业发展不可或缺的一部分。在全球范围内,TensorFlow 和 PyTorch 占据了领先地位,但在中国市场,华为的MindSpore和百度的PaddlePaddle等本土框架正在迅速追赶。
在12月14日举办的人工智能框架峰会上,18家单位展示了基于MindSpore的原生开发大模型成果。预计到2024年,中国AI框架市场中MindSpore的新增份额将达到30%。
华为ICT战略与业务发展部总裁彭红华表示,人工智能框架是AI时代的关键操作系统与软件基础。领先的AI框架需要具备“更高效、更敏捷、更开放”的技术和生态能力。华为将继续投资MindSpore,通过开源的方式促进中国AI框架生态的健康发展。
智谱AI CEO张鹏在会上指出,过去一年,大家更多关注的是硬件和算力。如今,硬件资源充足,如何充分利用这些昂贵的硬件资源成为关键。这主要依赖于AI大模型训练的框架和基础设施。当前最重要的任务是提升大模型的训练性能,这需要深度学习框架不断改进,以便软件更好地适配硬件和算法。
张鹏提到,与国外框架相比,尽管起步较晚,但MindSpore已经在许多方面取得了显著进展。智谱AI与华为合作,增强了分布式并行处理能力,提升了从训练到推理的一致性和部署可用性。他们还突破了核心技术,实现了全栈自主创新的演进。
智谱AI的明星产品CodeGeeX诞生于疫情期间,智谱和华为各自投入了数十人的团队,通过分布式协作完成了算法优化和集群稳定性维护。目前,CodeGeeX已经迭代了四代模型。
MindSpore开源社区理事长丁诚指出,大模型技术仍在快速发展。MindSpore关注两个关键领域:
模型参数量、序列长度和模态结构的指数级增长:这导致了计算不均衡、内存爆炸和流水线空炮问题,需要深度学习框架来解决这些问题。
多任务、多模型的融合:Open AI发布的o1技术推动了多任务、多模型的融合,这要求深度学习框架能够处理复杂的编程问题、混合部署和调度问题,以及训练和推理之间的权重转换。
开源策略是MindSpore快速追赶国际领先框架的关键。MindSpore自2020年开源以来,已支持超过50个国内外主流大模型,获得了1100万次下载,覆盖了全球130多个国家和地区。此外,MindSpore与360多所高校和科研院所展开了教学及科研合作,联合1700多家生态伙伴,推出了超过2000种解决方案。据估计,2024年中国AI框架市场中MindSpore的新增份额将达到30%。