Vectara发布大模型幻觉率排行榜:GPT-43%最低,谷歌Palm高达27.2%
币界网报道:据机器之心 11 月 14 日报道,近日,专注于 AI 的 Vectara 平台发布大模型幻觉率排行榜。从榜单可以得知,GPT-4 的幻觉率最低,为 3%,而谷歌 Palm 的幻觉率高达 27.2%。据悉,为了确定这个排行榜,Vectara 使用各种开源数据集对摘要模型进行了事实一致性研究,并训练了一个模型来检测 LLM 输出中的幻觉。他们使用了一个媲美 SOTA 模型,然后通过公共 API 向上述每个 LLM 输送了 1000 篇简短文档,并要求它们仅使用文档中呈现的事实对每篇文档进行总结。在这 1000 篇文档中,只有 831 篇文档被每个模型总结,其余文档由于内容限制被至少一个模型拒绝回答。利用这 831 份文件,Vectara 计算了每个模型的总体准确率和幻觉率。
推荐专栏
热门币种
更多
币种
美元价格
24H涨跌幅
热搜币种
更多
币种
美元价格
24H涨跌幅
最新快讯
更多
2024-05-12 23:03:53
2024-05-12 22:50:24
2024-05-12 22:48:57
2024-05-12 22:47:06
2024-05-12 22:34:37
2024-05-12 22:33:34
2024-05-12 22:32:43