Vectara 发布大模型幻觉率排行榜:GPT-4 3% 最低,谷歌 Palm 高达 27.2%
来源: 巴比特2023-11-15
据机器之心 11 月 14 日报道,近日,专注于 AI 的 Vectara 平台发布大模型幻觉率排行榜。从榜单可以得知,GPT-4 的幻觉率最低,为 3%,而谷歌 Palm 的幻觉率高达 27.2%。 据悉,为了确定这个排行榜,Vectara 使用各种开源数据集对摘要模型进行了事实一致性研究,并训练了一个模型来检测 LLM 输出中的幻觉。他们使用了一个媲美 SOTA 模型,然后通过公共 API 向上述每个 LLM 输送了 1000 篇简短文档,并要求它们仅使用文档中呈现的事实对每篇文档进行总结。在这 1000 篇文档中,只有 831 篇文档被每个模型总结,其余文档由于内容限制被至少一个模型拒绝回答。利用这 831 份文件,Vectara 计算了每个模型的总体准确率和幻觉率。
热门新闻
- 1下周必关注|BounceBit将上线主网并空投代币;LayerZero将公布官方女巫检查结果(5.13-5.19)
- 2第67期 | 产业区块链一周快讯速览
- 3MIIX Capital:日本加密市场全景报告
- 4欧洲“OpenAI”叒融资6亿刀,成立1年估值60亿刀,他们只做了一件事
- 5Ton生态风起,一文速览14个新一轮基金会Grant项目
- 6BounceBit主网已上线,推出节点质押和委托等多项新功能
- 7由川普对加密资产的支持引发的联想
- 8以太坊近期事件解析:香港加密ETF影响、美国ETH ETF前景、ETH是否会被认定为证券?
- 9特朗普“蹭”上加密圈:买4653美元NFT即可参与晚宴 相关MEME币飞涨
交易平台最新公告查看更多>