答案抽取正确率飙至96.88% xFinder斩断大模型 之手 作弊

引言

大型语言模型 (LLM) 的快速发展引发了关于如何评估其公平性和可靠性的热烈讨论。现有的评估框架，如 OpenCompass、LMEvalHarness 和 ultraEval，以及各种基准促进了行业进步，但很少有团队专注于这些评估框架核心组件的可信度或可靠性度量。

xFinder

上海算法创新研究院和中国人民大学的研究团队开发了一种名为 xFinder 的新模型，用于更准确地抽取关键答案。xFinder 具有以下优势： 强大的鲁棒性：不要求特定格式的答案输出，抽取准确率高达 95.18%，显著优于目前最佳 LLM 评估框架中的正则表达式方法。 支持多样化题型：能够将字母选择题自动转换为问答题，并支持不同题型的混排评估，从而降低测试者拟合题型的可能性。

方法

xFinder 的实现过程主要包括： LLM 响应内容生成：从现有的评估基准和报告中选择了多个典型的评估任务数据集，并使用不同系列的 LLM 生成了丰富多样的数据对。 自动标注与人工复核：使用策略从 LLM 响应中提取关键答案并将其用作标签，构建高质量的数据集。 xFinder 训练：使用构建的数据集训练 xFinder 模型。

实验结果

实验结果表明，xFinder 在各个评估任务中都优于正则表达式方法，抽取正确率显著提高。xFinder 也具有较强的泛化能力，能够有效处理从未见过的 LLM 响应。

讨论

xFinder 的鲁棒性和准确性对于 LLM 评估框架的可靠性和一致性至关重要。它有助于确保评估结果的公平性和可信度，从而促进 LLM 技术的健康发展。

参考文献

[xFinder: 针对大型语言模型的鲁棒精准答案抽取](https://arxiv.org/abs/2405.11874) [GitHub 链接](https://github.com/IAAR-Shanghai/xFinder) [Huggingface 链接](https://huggingface.co/collections/IAAR-Shanghai/xfinder-664b7b21e94e9a93f25a8412)

联系方式

投稿邮箱： liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com 研究院主页： https://www.iaar.ac.cn/ 马上收录导航

---

---

相关标签： 正确率、 可靠性、 样本、 大模型、 字母、 算法、 作弊、

上一篇：战锤3新DLC锁定食人魔绿皮与恐虐战争全面爆

下一篇：1NASA复活人类最遥远的探测器修复成功号满