在6月21日举行的华为开发者大会(HDC 2024)上,华为云推出了盘古大模型5.0版本,此版本以其独创的多模态生成能力,为自动驾驶领域提供了更高品质的数据支撑。
华为常务董事兼华为云CEO张平安强调,盘古5.0通过革新性的可控时空生成技术,大规模生成与实际驾驶场景相符的视频数据,有望彻底改变自动驾驶的研发模式。
华为云盘古大模型5.0的可控时空生成技术(STCG),赋予了模型理解并遵循物理定律的能力。这意味着生成的视频不仅在视觉效果上极为逼真,而且在车辆行为、环境互动等方面与现实情况保持极高的同步性。比如,车辆在不同摄像头视角间的流畅转换,以及在各种天气和光照条件下的自然行驶表现,都展现了模型在空间和时间维度上的精确控制能力。
为了直观展示这一技术的威力,我们特地准备了一幅插图,展示了盘古大模型生成的六摄像头视角视频。通过这些视频,自动驾驶系统能够获取到全面且高仿真的训练素材。这些素材涵盖了从空旷街道到复杂多车交互的多种场景,甚至包括不同气候条件下的行车情况,极大丰富了训练数据集的多样性。尤其是,在生成雨天视频时,模型还能精细模拟车辆尾灯在光线昏暗时自动开启的细节,充分展示了其对复杂现实世界规律的深刻理解和学习能力。
张平安指出,未来盘古的多模态生成将支持更多场景,更好地服务于自动驾驶行业的发展。