图灵汇官网

边缘智能与大模型融合：加速产业创新与赋能

大模型落地与边缘AI：挑战与解法

在2024年的WAIC大会上，“大模型+行业”成为了焦点话题，尤其聚焦于大模型如何在实际应用场景中实现有效的落地。面对云端大模型在行业应用中遇到的挑战，如数据缺失、信息反馈滞后、长尾场景覆盖不足以及模型出现的幻觉问题，一种可能的解决方案是引入边缘AI。

边缘AI：低耗能、高隐私与快速响应

边缘AI凭借其低成本、强大的数据隐私保护能力和快速响应速度，为解决上述挑战提供了新的视角。近年来，各大科技巨头如谷歌、微软、Meta、苹果、英伟达等均在探索边缘AI的应用，不仅推出了轻量化大模型来支撑边缘AI的实施，还开发了专门的边缘AI芯片，应用于AI手机、机器人等领域。例如，云天励飞在2022年底推出的DeepEdge 10系列芯片，就是为了支持边缘端大模型运行而设计的。

边缘AI赋能AIoT：未来物联网的升级版

边缘AI不仅促进了物联网向AIoT（人工智能物联网）的升级，而且推动了大模型在各行业的深度应用。据国泰君安证券研究所预测，未来三年，边缘智能硬件设备的复合增长率有望超过50%。这预示着边缘AI将在物理世界中扮演更加重要的角色。

边缘AI的应用场景：个人、家庭与城市

• 个人领域：搭载边缘AI的各类3C设备，如智能眼镜、智能手机等，提供个性化的AI助手服务。
• 家庭领域：智能家居、服务机器人等，主动执行家庭任务，提升生活便利性。
• 城市领域：边缘AI赋能的城市管理，实现从被动治理到主动预防，以及城市治理流程的全面优化。

云天励飞的边缘AI战略布局

基于对边缘AI发展趋势的洞察和技术积累，云天励飞制定了“2+3+3”的战略布局，旨在构建一个多模态大模型和NPU加速计算平台的技术基础，围绕智能硬件、智算运营、智慧行业三大主营业务，进一步拓展个人Copilot、家庭Copilot、城市Copilot等应用方向。

数字政务大模型的落地实践

在本次WAIC论坛上，云天励飞的数字政务大模型“云天天书”被纳入信通院发布的2024大模型典型示范应用案例。该模型通过集成数据交易平台、AIGC内容生成平台、数据加工及分析平台、GPT大模型训练中心、输入提示工程中心和算力支持六大核心组件，为政府部门提供高效的数据服务和智能化解决方案，显著提升了日常办公效率和服务质量。

数字政府大模型的实际应用效果

在某区的数字政府大模型全面落地中，基层工作实现了显著的“大减负”。例如，在12345系统中，应用大模型后，事件分拨时间从15秒缩短至3秒，无需人工参与，避免了误操作，效率提升高达80%。

持续创新与产业融合

随着大模型与行业应用的深度融合，云天励飞将继续深耕边缘AI领域，推动技术创新，加速大模型在各行业的落地应用，促进物理世界与数字技术的紧密结合，共同推动产业的创新与发展。