百川智能首个全场景深度思考模型Baichuan-M1-preview发布

图灵汇官网

1月24日,百川智能发布了一款名为Baichuan-M1-preview的全场景深度思考模型。该模型融合了语言、视觉和搜索三大领域的推理能力。此外,它还支持医疗循证模式,能够提供从医疗证据检索到深度推理的端到端服务,从而高效、准确地解答医疗临床和科研中的问题。

目前,Baichuan-M1-preview已在百小应平台上线。为了促进AI医疗生态的发展,助力医疗行业的进步,百川智能还推出了首个开源的医疗增强大模型Baichuan-M1-14B。作为一款全场景深度思考模型,Baichuan-M1-preview具有强大的语言、视觉和搜索推理能力。

值得一提的是,Baichuan-M1-preview特别强化了医疗循证模式的功能。在处理复杂的医学问题时,它能够利用可靠的专业医疗知识作为推理依据,辅助用户做出医疗决策。为此,百川智能自建了一个包含数十亿条目循证医学知识库,整合了大量国内外权威医学文献、指南、专家共识、疾病和症状分析以及药品说明书等内容,并且每天进行动态更新,确保及时反映最新的医疗研究成果。

借助“医疗循证模式”,Baichuan-M1-preview能够实现从证据检索到深度推理的完整流程,有效应对医疗领域中信息过载、不确定性以及信息碎片化的问题。为了推动AI技术在医疗领域的创新应用,增强AI医疗技术的透明度和可信度,提高医疗服务的可获得性,百川智能还开源了Baichuan-M1-14B这个小尺寸版本的模型。

为了提升Baichuan-M1-14B的医疗能力,百川智能采取了多种措施。在数据构建方面,他们收集了万亿级别的专业医疗数据,包括千万级的中英文医学论文、真实的医院病例、大量的医疗问答、问诊记录以及临床数据,并对全网数据进行了分类评估,确保模型能够学到有价值且全面的医疗知识。此外,百川智能还针对不同类型的高质量医疗数据生成了超过数千亿token的多样化数据集,涵盖了医疗复杂决策推理链、决策依据以及问答对等多种形式。这些数据不仅丰富了知识的表现形式,还模拟了医生的思维方式,进一步增强了Baichuan-M1-14B的医学知识和推理能力。

在模型训练阶段,百川智能采用了独特的多阶段领域提升方案,将整个训练过程划分为通识提升、医疗基础知识提升和医疗进阶知识提升三个阶段,逐步提升模型的基础语言能力和应对高阶及疑难病症的能力。此外,他们在CoT训练框架中创新地引入了ELO强化学习法,优化了思维链路径,减少了传统奖励模型的偏差,从而提高了模型的生成质量和逻辑推理能力。

本文来源: 图灵汇 文章作者: 杨天瑞