图灵汇官网

云端与端侧模型的竞争格局

随着技术的飞速发展，云端大模型与端侧模型的竞争日益激烈。去年上半年，谷歌推出了PaLM2的轻量级版本“壁虎”，这款模型可在移动设备上离线运行，率先在端侧模型领域打响了第一枪。年底时，端侧模型的时代正式拉开帷幕。

法国创企Mistral AI发布了Mixtral 8x7B模型，微软则在短时间内加速研发，从27亿参数的Phi-2跃升至SLM（小语言模型）Phi-3系列，强调其高性价比——“成本更低，但响应能力接近更大规模模型”。谷歌携Gemma模型向Meta的Llama-2大模型发起挑战，而苹果也宣布其“小模型”家族将更接近“让人工智能在苹果设备上本地运行”的目标。

在中国上海张江，一家通用大模型厂商——RockAI，正驶向端侧模型的快车道。凭借类脑分区激活的工作机制、改进反向传播算法，RockAI逐步实现“同步学习”，并在多模态技术上领先业界。其CEO刘凡平带领团队，正引领一场技术创新革命。

走向设备端的先锋——Yan 1.2

今年1月，RockAI发布了国内首个非Attention机制的通用自然语言大模型——Yan1.0，标志着迈向设备端的重要一步。Yan1.0模型完全支持私有化部署应用，无需裁剪和压缩，即可在主流消费级CPU等端侧设备上流畅运行。在Mac笔记本上展示模型运行推理的现场，刘凡平描绘了未来在更加便携设备上进行无损部署的蓝图。

随着Yan 1.0进入1.2阶段，该模型首次成功在树莓派上运行，将无损适配低算力设备变为现实。树莓派，作为全球知名的袖珍型高性能微型电脑，广泛应用于物联网、工业自动化、智慧农业等多个领域。尽管面临不少大模型玩家采用“有损压缩”的挑战，RockAI基于底层技术的“破坏式”创新，确保了原生无损放入的实现。

“为设备而生”的Yan架构

不同于传统Transformer模型的局限，Yan架构专为低算力设备设计，以百亿级参数媲美千亿参数大模型的性能。它通过提升记忆能力、训练效率和推理吞吐量，实现云端运行的高性价比。Yan模型的关键模块MCSD Block，展示了其在多模态下的潜力和优势。

数据表明，Yan模型在单张4090 24G显卡上的表现优于Transformer模型，当输出token长度超过2600时，仍能稳定使用14G显存，理论上支持无限长度推理。通过兼容更多设备，RockAI实现了“为设备而生”的愿景，使通用大模型能够适应多样化场景。

同步学习与个性化服务

岩芯数智的创新路径指向“同步学习”，这是一种旨在让模型实时学习和更新的能力。与传统云端大模型不同，同步学习允许模型在训练和推理过程中实时更新，实现知识的持续积累和优化，从而更好地适应个性化场景。这一理念源于人脑神经元分区激活的启发，通过类脑分区激活的工作机制，Yan模型能够根据学习类型和知识范围调整特定神经元，减少数据训练量，有效发挥多模态潜力。

随着Yan模型的持续迭代，岩芯数智正向着构建个性化、智能化生态的目标迈进。通过同步学习，模型能够适应用户习惯，提供定制化的服务，使手机、电脑乃至智能家居等设备都能个性化匹配用户需求，形成多样化的智能交互体验。

前瞻性的C端商业化布局

岩芯数智的商业化战略已从B端扩展至C端，聚焦于低算力设备，旨在满足AI与本地设备融合的趋势。公司通过与硬件和芯片厂商紧密合作，优化端侧模型的适配性，加速Yan 2.0的商业化进程。随着技术的不断进步，岩芯数智正逐步构建一套面向未来的、适用于各类硬件的AI操作系统，旨在为用户提供更高效、个性化的智能体验。