揭秘大语言模型“真相”：谷歌发布AI基准测试

随着人工智能技术的快速发展，大型语言模型（LLMs）在自然语言处理领域的应用越来越广泛。然而，这些模型在处理真实世界数据时，也面临着一些挑战，如事实准确性、避免“幻觉”等问题。为了解决这些问题，谷歌DeepMind团队于近日发布了一项新的AI基准测试——FACTS Grounding基准测试。该测试旨在评估LLMs根据给定材料准确作答的能力，并提升LLMs的事实准确性，增强用户信任度，并拓展其应用范围。

一、数据集介绍

在数据集方面，FACTS Grounding基准测试采用了ACTSGrounding数据集。该数据集包含1719个示例，涵盖金融、科技、零售、医疗和法律等多个领域。每个示例包含一篇文档、一条要求LLM基于文档的系统指令和随附的提示词。示例文档长度不一，最长可达32000个token（约20000字）。这些示例旨在涵盖各种真实世界任务，如摘要生成、问答生成和改写等。开yun体育官网入口登录APP下载

数据集分为860个“公共”示例和859个“私有”示例。目前已发布公共数据集供评估使用，私有数据集则用于排行榜评分，以防止基准污染和排行榜作弊开云真人APP网站。

二、评估方案

在评估方案上，FACTSGrounding基准测试采用了Gemini 1.5 Pro、GPT-4o和Claude 3.5 Sonnet 3款模型作为评委，评估答案的充分性、事实准确性和文档支持性。评估分为两个阶段：首先评估响应是否符合资格，即是否充分回答了用户请求；然后评估响应的事实准确性，即是否完全基于所提供的文档，有没有出现“幻觉”。最终根据该模型在所有示例上的平均得分进行排名。

值得一提的是，在FACTSGrounding基准测试中，谷歌的Gemini模型在事实准确的文本生成方面取得了最高分。这一成绩不仅体现了Gemini模型在处理真实世界数据方面的优势，也反映了FACTSGrounding基准测试对于评估LLM事实准确性方面的有效性。

三、主题延伸

FACTSGrounding基准测试的推出，不仅为LLM的开发者和研究者提供了一个新的评估工具，也为公众揭示了LLM在处理真实世界数据时的局限性和挑战。随着LLM技术的不断发展，我们有必要对它们进行更严格的评估和监督。

一方面，我们需要关注LLM在处理真实世界数据时的准确性问题。由于LLM的训练数据主要来源于互联网，其中包含大量的虚假信息和主观观点。因此，LLM在生成回答时可能会出现“幻觉”和错误信息，影响其事实准确性。FACTSGrounding基准测试正是针对这一问题而推出的评估工具。

另一方面，我们需要警惕LLM可能对现实世界造成的负面影响云开全站·appkaiyun官网。由于LLM的技术尚未完全成熟，其生成的回答和决策可能会对社会产生误导和危害。因此，我们需要加强监管，确保LLM的应用符合道德和法律标准。开云真人APP网站

总之，谷歌DeepMind团队推出的FACTSGrounding基准测试为评估LLM提供了新的视角和方法开yun体育官网入口登录APP下载。通过这一测试，我们可以更好地了解LLM在处理真实世界数据时的表现和能力，从而为未来的技术发展提供指导。同时，我们也需要关注和应对LLM可能带来的挑战和风险。