腾讯开源 finLLM-Eval：大模型金融场景幻觉专业评测方案

金融大模型落地，最难过的坎是什么？不是算力，不是数据，而是“怎么证明它说的东西是真的”。金融领域向来强监管、高容错门槛，模型随便输出一个虚构的财报数字，后果可能很严重。最近腾讯开源了一套叫 finLLM-Eval 的框架，专门解决这个幻觉评测难题——而且最狠的一点：不再需要人工标注标准答案。

这个框架的突破在于，它提出了一个全新的真实性评测范式：基于真实投资者提问语料，自动解析“标的×时间×指标”三元组，然后调用内部金融知识库完成全自动校验。换句话说，评测过程中，人只要扔问题进去，系统自己就能判断模型有没有胡说八道。这等于把金融场景下缺乏权威评判基准的行业死结，直接解开了。

本次开源的版本，核心能力集中在两块：

• 逻辑一致性 & 事实准确性评估模块——提供完整可运行的工程代码、内置示例评测数据集，用户还能自由扩展自己的测试样本。系统跑完自动输出综合得分、错误类型分布图、千字幻觉发生率等多维量化指标，一眼看清模型在哪类问题上翻车。
• 端到端金融数据准确性比对模块——给出技术实现方案，便于开发者快速接入自有数据源。

核心功能亮点

聚焦大模型生成内容质量评估

• 事实准确性评估：精准识别模型输出中是否存在虚构信息、事实混淆或时空错位。比如模型说“茅台2023年净利润700亿”，实际是多少？框架能自动比对，确保对齐真实市场状态。
• 逻辑一致性评估：深度检验推理链条是否契合金融基本原理和市场运行规律。模型给出的投资建议，是不是违背了基本的估值逻辑？框架会一条条拆解，把那些看似通顺但暗藏矛盾的结论拦下来。

零标注金融数据真实性验证：这是最具突破性的能力。不需要人工手写标准答案，而是基于真实投资者提问，自动抽取“标的×时间×指标”三元组结构化事实，直接调用内部金融知识库完成校验。等于把人工标注这个最耗时的瓶颈彻底砍掉了。

AgentAsJudger 智能评测机制：全流程无人值守。AI Agent 自主完成事实抽取、逻辑路径还原，然后与 RAG 检索结果或权威金融数据库做交叉比对。实测准确率超过96%，这意味着大部分场景下，机器评测已经足够可信。

后续项目还会持续演进，计划新增非金融类指标验证能力、错误归因分析模块等功能。可以说，这套框架为金融 AI 的合规落地补上了关键的一块拼图——让大模型在金融业务中，不只说得漂亮，更要说得靠谱。