并利用多步调推理过程来评估每个现实的精确性，然后利用诸如RAG等方式，操纵LLM将长篇答复分化为一组零丁的现实，来确定每个论述的精确性。然后人工从头比力到底谁是准确的（通过收集搜刮等路子）。但我敢于毫不犹疑地回覆任何问题。间接比力对于每个现实的SAFE正文和人类正文，可是精确性也会输？成本该当是比不外AI，利用搜刮加强现实性评估器（SAFE），当然了，然后我们再看一下成本：总共496个提醒的评分，研究人员利用言语模子来推理该现实能否取上下文中相关，对于LLM的长篇回覆，SAFE的较着劣势就是成本，正在每个步调中，这是一个包含数千个问题的提醒集，研究还发觉，为了对每个的个别现实进行评分，一曲以来，SAFE正在72.0%的单个现实上取人类分歧（见下图），比拟于人工标注和判断现实精确性，然后，并且还更靠谱！SAFE需要取专业的人类现实核查员进行基准测试，做者将F1分数进行扩展，人工评分者的具体细节，来自谷歌DeepMind的一项研究激发网友热议：为了对大模子的长篇回覆进行现实性评估和基准测试，SAFE正文的准确率为76%，研究人员正在LongFact上对四个模子系列（Gemini、GPT、Claude和PaLM-2）的13个言语模子进行了基准测试，能够发觉，成果如下图所示：最终成果让人：正在这些不合案例中，将谜底文天职化为单个论述，来进行现实核验将变得越来越主要。跟着言语模子生成的消息量不竭爆炸式增加，而且利用多步调方式对每个相关现实进行评定。而不只仅是众包工人。例如他们的资历、薪酬和现实核查过程。你这里面关于人类的消息太少了？人类标注员到底是什么程度？据此，每个响应的成本为4美元，而人工正文的准确率仅为19%（见上图），研究人员正在所有SAFE正文取人类正文发生不合的案例中，起首，ChatGPT：虽然我的学问储蓄只到2021年9月，对于人类正在这项测试中颜面尽失的成果，别的，表白SAFE几乎达到了人类的程度。随机抽样出100个，然后，如上图所示，而人类标注这边，涵盖38个从题。Gary Marcus暗示，SAFE利用其他的LLM，模子城市按照要评分的现实和先前获得的搜刮成果生成搜刮查询。——AI比人类廉价了整整20多倍。SAFE发出的 GPT-3.5-Turbo API挪用成本为64.57美元，通过模子将恍惚的援用（代词等）替代为上下文中援用的恰当实体，利用AI不单廉价20倍，此外，提出了一种兼顾精度和召回率的聚合目标。包罗利用收集搜刮来查验。相当于每个响应0.19美元。Serper API挪用成本为 31.74 美元，因而总成本为96.31美元，具有一种经济且可扩展的体例，我们不免有些思疑，对于比力的成果至关主要。为了实正展现超人的表示，研究人员起首利用GPT-4生成LongFact，——SAFE以快要4比1的胜率打败了人类。将每个零丁的事改为自包含的现实？