公告
设置
定位中··· -
欢迎查看 2024 新闻时间线
澳大利亚政府研究发现 AI 在概述上的表现比人类差
更新于 2024-09-06 00:38:47
大模型能比人类更快的概述一篇长文,因此很多用户和企业尝试用它去概述冗长的文档以方便阅读。澳大利亚证券和投资委员会(ASIC)对此展开了研究,他们测试了开源大模型 Llama2-70B,发现它提供的概述相比人类提供的差很多。Llama2-70B 不是目前最先进的大模型,这一结果不太能够推广到最先进大模型的概述能力。尽管如此,研究表明,大型组织在将大模型的输出集成到现有工作流前需要三思。ASIC 发现,大模型生成的概述太笼统,还常常包含不正确的信息,语法正确,但幻觉无法避免。对比测试发现,AI 的平均得分为 7/15,而人类是 12.2/15。

赞助商广告