图灵汇 1 月 2 日消息,如今,借助AI写作工具,人们轻敲键盘便能完成论文撰写、创作说唱歌词或编写剧本。不过,现阶段的人工智能还远未达到“莎士比亚式”的原创水平。Science杂志的一项新研究表明,当前的AI作品依然具有明显的模仿特征。
为了验证这一点,研究团队设计了一种评估AI创造力的程序。伦敦大学学院的计算机科学家Mirco Musolesi表示,衡量创造力是一个复杂而有趣的问题,而这项新方法在处理语言创新方面表现良好。
自从生成式AI和大规模语言模型出现以来,学术界一直对这些技术的创新能力持怀疑态度。尽管AI能够迅速产出类似人类创作的文字,但一些专家认为,这仅仅是重组训练数据的内容,而非真正的创新。有人将这种现象比喻为“随机鹦鹉”,即机械地重复已知文本。
要量化这种创造力并不容易。通常有两种方法:一种是用计算机检测抄袭迹象,但这并不能证明原创性;另一种是由人类评估流畅性和原创性,但这又显得主观且耗时。
为此,华盛顿大学的研究人员Lu Ximing及其团队开发了一款名为DJ Search的工具。这款工具不仅具备客观性,还能捕捉细微差异。它通过提取AI生成文本中的短语片段,在数据库中搜索相似内容。它不仅能识别完全匹配的文本,还能找出语义相似的表达。通过分析词义,它利用AI算法确定同义词,并通过计算未匹配部分的比例来评估文本的新颖性。
研究显示,人类在诗歌、小说和演讲方面的表现显著优于AI,分别高出80%、100%和150%。DJ Search还可以比较不同作品的原创性,比如《饥饿游戏》比《暮光之城》在语言原创性方面高出35%。研究负责人Lu将AI类比为DJ:“就像DJ混音一样,AI拼接文本,虽然精彩,却无法替代创作者。”
加州大学洛杉矶分校的计算机科学家Nanyun Violet Peng建议,未来应从整体叙事的角度来评估原创性,而不仅仅是局限于语言层面。