图灵汇官网

大模型预训练“缩放定律”面临挑战，推理技术或成突破关键

当前，大模型预训练中的“缩放定律”似乎遇到了瓶颈。据报道，硅谷的主要AI实验室在新模型训练方面普遍进展不顺，部分新模型训练不仅延迟，而且效果令人失望。例如，Orion相较于GPT-4o几乎没有显著改进，谷歌的Gemini 2.0也面临类似的问题。

为了突破瓶颈，OpenAI正在探索“测试时计算”技术，希望借此提升模型的表现。这项技术可以让模型在推理阶段更加灵活地解决问题，而不仅仅依赖于预训练。据报道，这项技术的应用促使OpenAI发布了o1模型。

“缩放定律”面临挑战

近年来，AI大模型预训练一直遵循着“缩放定律”，即随着数据量和计算资源的增加，模型性能会显著提升。然而，硅谷主要AI实验室的新模型训练目前普遍进展缓慢。OpenAI开发的旗舰模型“Orion”目前仅完成了20%的训练，虽然其在某些语言任务上的表现接近GPT-4，但其进步幅度远不如前几代旗舰模型之间的飞跃。此外，Orion在编码等任务上的表现可能并不比之前的模型更优秀。更重要的是，运行Orion的成本可能高于之前模型。

推理技术的潜力

为了解决这些问题，OpenAI正在探索“测试时计算”技术。这项技术在模型推理阶段增强模型，使其能够实时生成和评估多种可能性，从而做出最优决策。这种方法可以让模型在处理复杂的任务和需要类人推理的操作时表现更佳。

o1模型正是在这种技术的支持下诞生的。它不再受限于预训练，而是通过多步骤方法进行推理，从而提升表现。此外，o1模型还整合了博士和行业专家提供的数据和反馈。

英伟达的垄断地位受到威胁？

其他科技巨头也在积极探索类似的技术。据报道，Anthropic、xAI和Google DeepMind等实验室的研究人员也在开发自己的“测试时计算”版本。这可能改变人工智能硬件市场的竞争格局。

目前，AI硬件市场主要由对英伟达训练芯片的需求主导。然而，如果增加训练时间和推理时间可以提升模型性能，那么新一代模型可能不需要那么大的参数，这将降低生产成本。风险投资公司如红杉资本和Andreessen Horowitz等已经在密切关注这一变化，并评估其潜在影响。

红杉资本合伙人Sonya Huang表示：“这种转变将使我们从大规模预训练集群转向推理云，即用于推理的分布式云服务器。”她进一步指出，这可能会打破英伟达在训练芯片领域的垄断地位，公司在推理芯片市场可能会面临更多竞争。

英伟达也承认了这一趋势。在最近的一次演讲中，黄仁勋提到，新技术对推理芯片的需求不断增长，强调了o1模型背后技术的重要性。

结语

大模型预训练的“缩放定律”正在面临挑战，而推理技术可能成为解决这一问题的关键。随着更多科技巨头加入这一领域的竞争，未来人工智能硬件市场的格局或将发生重大变化。