2017年,谷歌在AI领域迈出了里程碑式的一步,发布了一篇题为《Attention is all you need》的论文,该论文对Transformer模型进行了革命性的改进,成为本轮AI热潮的开篇之作。近期消息显示,这篇论文的关键合著者——威尔士人Llion Jones已离开谷歌,标志着当年撰写该论文的团队成员全面退出了美国科技巨擘。
谷歌的这一论文不仅奠定了未来数年AI科技浪潮的基础,包括ChatGPT、文心一言、Bard、讯飞星火、Stability AI、Midjourney、Dall-E等市场上广受追捧的产品,其架构都源自于Transformer。Llion Jones与前谷歌AI日本负责人、曾主导Stability AI研发的David Ha合作,于本周四在日本东京创立了名为Sakana AI的新公司,旨在探索将“大自然系统的集体智慧”融入AI领域的可能性。
Sakana AI的成立,标志着AI发展重心从扩大单一模型规模转向构建新型架构。两位创始人认为,当前AI模型的缺点在于其设计往往过于僵化、不易调整,类似于桥梁或建筑,而自然系统则能灵活适应环境变化,成为其一部分。他们希望通过借鉴进化计算原理,构建出既经济又安全的人工智能解决方案。
David Ha指出,Sakana AI的策略是利用大量小型模型协同工作,每个模型专注于特定领域且数据集规模适中,以此解决问题,而不是构建一个囊括海量数据的大模型。这一理念可能推动AI技术实现革新。
选择在东京开展业务,两位创始人提到除了对当地环境的熟悉外,还看重能在非西方社会和文化背景下训练的模型能够促进下一次技术飞跃的观点。这体现了他们对于多元文化和全球视角在技术创新中的重要性的深刻理解。