图灵汇官网

云端与端侧模型的竞争格局

随着技术的飞速发展，云端大模型与端侧模型的竞争格局已渐趋明朗。在2024年的背景下，我们见证了端侧模型领域的一系列突破与创新。

去年开篇，谷歌以PaLM2的“壁虎”轻量级版本打响了端侧模型的首炮，随后，端侧模型时代的帷幕缓缓拉开。法国创企Mistral AI率先推出了Mixtral 8x7B模型，微软紧随其后，加速布局，从27亿参数的Phi-2跃升至SLM（小语言模型）Phi-3系列，强调其性价比之高，即“成本低廉，响应能力接近更大规模模型”。

Google携Gemma模型向Meta的Llama-2大模型发起挑战，苹果则通过其“小模型”家族，展示了让人工智能在苹果设备上本地运行的可能性。与此同时，中国上海张江的一家通用大模型厂商——RockAI，也在端侧模型赛道上疾驰。这家企业以类脑分区激活的工作机制、改进的反向传播算法，逐步实现了“同步学习”，并在多模态应用方面率先取得了突破。

RockAI的CEO刘凡平带领团队，于今年1月发布了国内首个非Attention机制的通用自然语言大模型——Yan1.0模型，标志着迈向设备端的重要一步。这一模型支持私有化部署，无需裁剪和压缩即可在主流消费级CPU等端侧设备上运行无损。在Yan 1.0的基础上，Yan 1.2版本成功在树莓派上运行，实现了对低算力设备的无损适配，将理论变为现实。

树莓派作为全球知名的小型高性能微型电脑，广泛应用于物联网、工业自动化、智慧农业等领域。其强大的计算能力与便携性，使得Yan模型在树莓派上的成功运行，不仅打开了低算力设备的大门，也为不联网的多场景应用提供了可能。然而，面对大模型玩家普遍采用的“有损压缩”策略，RockAI以其底层技术创新，实现了原生无损的模型适配，展现了其独特优势。

Yan架构模型针对低算力设备而生，1.0版就以百亿级参数展现出媲美千亿参数大模型的性能，同时在记忆能力、训练效率和推理吞吐量方面均有显著提升，实现了云端运行的高性价比。通过类脑分区激活的工作机制，Yan模型实现了根据学习类型和知识范围动态调整神经元的激活，减少了数据训练量，有效发挥多模态潜力。

实验数据显示，Yan模型在单张4090 24G显卡上，即使在输出token长度超过2600时，也能够稳定使用14G显存，理论上支持无限长度的推理。在兼容更多设备，实现个性化应用方面，RockAI通过技术创新，让Yan模型能够在同架构下轻松适应各种设备，为“为设备而生”的愿景奠定了坚实基础。

随着类脑分区激活机制的实现，10亿级参数的Yan模型能够在一台7年前的Mac笔记本CPU上无损运行，这标志着原生无损在树莓派上的成功。这一成就不仅提升了模型在低端设备上的适用性，也为实现“同步学习”概念的落地铺平了道路。

刘凡平深思“大模型训练是否真的需要如此庞大的参数”，认为数据和算力不是关键瓶颈，而是架构和算法决定了模型的性能。基于此，RockAI在树莓派上取得的突破，不仅是技术上的创新，更是对“同步学习”概念的积极探索。通过同步学习，Yan模型能够实现知识的实时更新和个性化服务，让设备具备更强大、更灵活的学习能力。

综合以上，RockAI在端侧模型领域展现出了强大的研发实力和前瞻性视野。随着Yan模型的不断迭代，尤其是Yan 2.0的即将推出，预计将全面整合多模态支持、实时人机交互和同步学习能力，为用户带来前所未有的智能体验。同时，通过与硬件和芯片厂商的紧密合作，RockAI正积极构建标准化的类Windows操作系统，旨在打造适用于不同设备的智能生态系统，实现通用人工智能在各类设备上的广泛应用。