在5月29日的科技动态中，开源语言模型的发展备受瞩目。尽管存在争议，但它们是否能与行业巨头如OpenAI、谷歌等公司提供的专业训练语言模型相抗衡呢？近期，关于使用Alpaca Formula训练的开源模型的讨论引起了广泛关注。

Alpaca Formula这一概念涉及将ChatGPT生成的数据用作微调基础模型，如Meta的LLaMA。这种方法使得LLaMA能在短时间内迅速学习并产出类似ChatGPT的输出，且所需的计算资源相对较少。然而，伯克利大学的研究团队在一项新研究中提出了不同的观点。

研究者尝试将Alpaca Formula应用至LLaMA和GPT-2的基础模型，并通过人工评估与GPT-4的自动评测相结合的方式进行测试。起初，基于先前开发者的研究，他们发现使用指令优化的模型（即“模仿模型”）在性能上显著超越了基础模型，与ChatGPT水平相当。

不过，进一步的评估揭示了更复杂的真相。在特定的任务中，模仿模型确实表现出色，尤其是在那些模仿数据集涉及的领域。但在更广泛的评估中，这些模型与GPT-4之间仍存在明显的性能差距。这是因为基础模型在广泛预训练阶段就积累了大量功能，而并非仅仅通过微调过程获得。

研究指出，负责评估的人工智能内容的工作人员往往缺乏专业知识，可能容易受到误导。此外，OpenAI研究员John Schulman也对使用ChatGPT数据微调开源基础语言模型提出批评，认为如果微调数据集中包含原始模型未有的知识，可能会导致产出更多不准确的内容。

以上内容来源于科技资讯平台“站长之家”。