当AI助手回答问题时，它是怎么知道答案来自哪里的？

这项研究以预印本形式发布在arXiv平台，编号为arXiv:2607.01420v1，属于计算机科学计算与语言方向。

想象一下，你刚向AI助手问了一个问题，它立刻给出一个答案，听起来头头是道。但你心里还是忍不住犯嘀咕：它说的到底对不对？凭什么这么说？这种不安感，在医疗、法律这类高风险领域会被放大几十倍——一个没有来源的错误答案，可能真的会带来实质性伤害。

这就是“溯源”为何如此关键。研究人员把这个能力叫做“attribution”，简单说，就是AI在给出答案后，能明确指出“这句话来自文档第三页的那段文字，还有第五张图”。这样一来，用户就能自己核对，相当于给AI的每一句话都附上了出处脚注。

过去几年，学界在纯文字溯源上已经有些进展。但现实世界里的文档——不管是医疗报告、企业合规文件，还是科研论文——几乎都是图文混排的。一张折线图、一幅解剖示意图、一个数据表格，这些视觉内容承载着文字无法完整表达的信息。当AI需要同时从文字和图片中寻找答案的依据时，现有的溯源方法就显得力不从心了。

来自Adobe研究院及合作高校的研究团队正是为了填补这个空白而展开工作的。他们提出了一个名为MULTATTNATTRIB的方法，并配套设计了一个用于评估的数据集MULTATTREVAL。前者是“工具”，后者是“考场”。这项工作的独特之处在于，MULTATTNATTRIB不需要对AI模型进行任何额外训练，却能在处理速度上达到传统方法的七倍，同时还能在图文混合的复杂文档中准确定位答案来源。

一、为什么给AI装上“溯源仪”如此困难

在纯文字的世界里，溯源虽然不算容易，但至少还有迹可循。可一旦文档里混入了图片，问题的复杂度就像坐了火箭一样直线上升——不是简单的加法，更像是乘法。

先说说纯文字溯源是怎么做的。现有方法大致分为三条路径。第一条路是“训练驱动”：直接训练AI模型，让它在生成答案的同时自动附上引用，就像学术论文里的脚注一样。这条路效果不错，但代价高昂——每次想用一个新的AI基座模型，都得重新训练一遍。第二条路是“事后核查”：先让AI生成答案，再用另一个独立的检索工具或判断模型来检验这个答案的说法能否在原文中找到依据。这条路灵活，但需要多跑一轮模型，时间和计算成本都会翻倍。第三条路是“从模型内部读取信号”：AI模型在处理信息时，内部会产生各种注意力权重和激活值，这些信号本身就隐含着“模型在关注哪里”的信息。这支研究团队走的正是第三条路。

到了多模态场景，挑战变得更加棘手。当一道问题的答案同时依赖一段文字和一幅图时，溯源系统需要回答的不再是“这句话来自哪一段文字”，而是“这个答案来自第二页的那段话，加上第四张图里的那个曲线”。这意味着系统必须同时理解文字的语义和图像的视觉内容，并判断两者如何共同支撑了这个答案。这在AI领域至今仍是一个相当开放的难题。

此前确实有一些多模态溯源的尝试，比如MCiteBench、MMDocRAG、MA VIS等基准数据集。然而这些数据集的设计模式大体相同：把文档拆成若干候选段落或图片，然后让模型从这些候选项里挑一个。这更像是一道“多选题”，而不是真正的“在一本完整的书里找到那一行字”。真实部署场景里，用户给AI一份完整的长文档，而不是提前切好的候选片段。这个差距正是研究团队希望填补的。

二、从AI大脑里读取“注意力指纹”

这支团队的核心洞察来自一个关于AI内部工作机制的观察：在Transformer架构（目前几乎所有主流AI语言模型和视觉语言模型的底层架构）中，模型每一层都有多个“注意力头”，每个头在处理问题时都会对输入文档中的各个位置分配不同的权重。通俗来说，这就像一个人读文章时，眼睛会在某些段落或图片上停留更长时间，而在其他地方一扫而过。

研究团队发现，在数百个注意力头当中，有一小部分头的行为非常特殊——它们会把注意力集中到那些真正支撑答案的位置，无论那个位置是一段文字还是一张图片。这些头就像是模型的“搜索探针”，天然扮演着寻找证据的角色。

MULTATTNATTRIB方法的工作流程分为三个阶段，可以用一个“考古发掘”的比喻来理解。

第一阶段：找到正确的探针

考古队首先需要知道哪些工具能挖到真正的文物，哪些只是在翻土。研究团队用一小批已知答案来源的样本（他们称之为“探针集”）来测试所有注意力头。对于每个注意力头，他们会做两次实验：一次是正常的输入，另一次是把真正的证据替换成来自另一篇文档的内容。如果一个注意力头在正常输入时高度关注真实证据、而在替换后注意力明显转移，那就说明这个头确实在因果层面响应着证据的存在——这种方法叫做“因果中介分析”（CMA）。与此同时，他们还会给那些“把注意力均匀撒在整篇文档上”的头降低评分，因为这样的头就像一个什么都看、什么都没看的粗心读者，对溯源没有帮助。经过这一轮筛选，他们从1536个注意力头中找出最有价值的那几十个。

第二阶段：校准挖掘深度

就算找到了好的探针，还需要知道挖多深才算找到了文物。研究团队用同一批探针样本来校准两个阈值：一个用于判断某张图片是否是答案来源，另一个用于判断某段文字是否是答案来源。具体做法是：先用选出的注意力头对探针集跑一遍溯源，把所有样本按是否真的包含图片来源或文字来源分成两组，然后找到一个分界分数，使得“命中真实来源”的比例和“避免误报”的比例之间的综合指标最优。这个过程只需要做一次，之后就可以直接用在新的文档上。

第三阶段：正式发掘

当用户提出一个真实问题时，系统只需要让AI模型对文档做一次正常的前向计算（就是通常说的“读一遍文档”），然后从那些被选中的注意力头里提取注意力信号。对于文档中的每张图片，把该图片对应的所有图像块（patch）的注意力值取平均，得到这张图的“被关注程度分数”。对于文字部分，用一个滑动窗口扫过整段文字，计算每个窗口内的平均注意力，得到各段文字的分数。把所有图片和文字的分数放在一起做归一化，然后对照之前校准好的阈值做判断：分数超过图片阈值的图片被标记为来源，分数超过文字阈值的文字段落被标记为来源。如果没有任何内容超过阈值，系统会退而求其次，把分数最高的那一项作为来源返回，确保始终有答案。整个过程只需要模型“读一遍文档”，不需要额外生成文字，因此速度极快。

三、文字头和图片头：AI大脑里的“专科医生”

在研究过程中，团队做了一个颇为有趣的内部分析：文字溯源和图片溯源是靠同一批注意力头完成的，还是各有一套“专科团队”？

答案介于两者之间，但偏向“共享为主、局部专科”。研究团队对全部1536个注意力头同时用文字溯源任务和图片溯源任务打分，然后比较两组排名前几名的头是否重合。

总体来看，大多数注意力头在两种任务下的表现相关性是正的，也就是说文字溯源好的头，图片溯源也往往不差。这支持了“共享底座”的假设。然而在排名最靠前的几个头上，情况就完全不同了。比如排名最靠前的文字头（编号19号、3号）在图片溯源任务上的表现反而是垫底的。在只取前四名头的情况下，用因果中介分析法得到的文字头和图片头的重叠率只有约14%，两组头的排名相关系数甚至是负的。

从层次分布来看，图片溯源的优质头几乎全部集中在模型的第22到36层，也就是模型的中后部。文字溯源的优质头则分布更广，从早期层到晚期层都有。而那些在两种任务上都表现优秀的“跨模态通才头”，则主要聚集在中后层的过渡地带。

这个发现从侧面解释了为什么MULTATTNATTRIB采用因果中介分析而不是简单的平均注意力来挑头：平均注意力倾向于挑出那些专注于单一模态的“专科头”，而因果中介分析更容易挑出那些同时响应两种模态的“通才头”，后者对于混合来源的溯源任务显然更有价值。

另一个值得一提的发现是溯源头的稀缺性。在经过归一化之后，约80%的注意力头在文字、图片、跨模态三类任务中的得分都低于0.1，只有不到2%的头得分超过0.6。这验证了一个此前在纯文字研究中已有苗头的猜测：真正承担“寻找证据”功能的注意力头，在模型里是极少数。正因为稀少，用少量的头就能捕获绝大部分溯源信号，让MULTATTNATTRIB的方法在计算上保持了高效。

四、考场设计：一个专门给多模态溯源出题的数据集

工具做好了，还需要一个公平的考场来检验它。研究团队同步构建了MULTATTREVAL数据集，这也是据研究团队所知，第一个专门为长文档多模态溯源设计的评测基准。

数据来源选取了MINT-1T这个大型开源多模态数据集中的PDF文档，跨越学术、商业、健康、法律、市场营销五个领域，共20篇文档，总计约89000个文字词元和253张图片。在这批文档上，研究团队生成了698组“问题-答案-来源”三元组，分布在三种溯源类型上：176组纯文字溯源、255组纯图片溯源、267组图文混合溯源。

生成这些三元组的流程相当严谨。对于纯文字类，研究团队先筛选出内容相互差异较大的文字段落，再用AI模型生成问答对，确保问题的答案只能从该段落中得出。对于纯图片类，先筛选出视觉内容差异较大的图片，配上与之不重叠的文字段落提供领域背景，再生成只能从图片内容中得出答案的问答对。对于图文混合类，最有挑战性——需要找到那些文字和图片内容能够互补的配对，具体做法是先用嵌入向量找出语义上最相关的（文字、图片）配对，再用命名实体识别技术确认文字中提到的实体确实在图片中有视觉呈现，最后生成必须同时参考两种模态才能回答的问题。

每一个生成的三元组都需要通过一系列质量过滤。对于文字溯源题，过滤规则包括：答案质量评分必须超过阈值，答案必须确实来自所标注的段落，证据文字片段长度必须在12到25词之间且必须是原文的精确子串，以及支撑证据不能横跨太多不同段落（否则定位模糊）。对于图片溯源题，额外增加了“问题不能指向图片的布局标注”（比如不能问“箭头指向哪里”）和“答案不能仅凭领域通识写出而不看图片”等规则。对于图文混合题，还需要验证两个模态各自提供了不同的关键信息，不能一个模态就能完整回答问题。

质量过滤之后，698组三元组被分成两部分：90组作为“探针集”用于MULTATTNATTRIB的头识别和阈值校准，剩余608组作为测试集用于所有方法的评估。

五、比赛结果：七倍速度下的超越

评测指标采用精确率、召回率和F1值（也就是两者的调和平均），对图片溯源用精确匹配，对文字溯源用模糊子串匹配并对长度偏差加以惩罚。

研究团队把MULTATTNATTRIB与多种基线方法做了对比，基线方法都运行在同一个开源模型Qwen3-VL-30B上，外加闭源前沿模型GPT-5.4作为参照。

基线方法分几类。VLM直接提示法：把文档的图片和文字都给模型看，直接让模型告诉你答案来自哪里。LLM提示法：把图片替换成文字描述（字幕），再让纯文字模型做溯源判断。Cohere RAG变体：先用Cohere检索器从文档里捞出最相关的前五段文字和前五张图片，缩小范围后再让模型做溯源。ColQwen RAG变体：先用ColQwen检索器捞出最相关的前五页PDF页面，再让模型做溯源。

在纯文字溯源上，直接提示法（VLM）的F1值是0.485，而MULTATTNATTRIB全文档版本达到了0.596，提升幅度约23%。结合Cohere检索后，MULTATTNATTRIB进一步升至0.665，比VLM基线高出约37%。这个提升主要来自召回率的大幅改善——从0.382跳升至0.726，也就是说MULTATTNATTRIB找到了更多真正相关的文字片段，而精确率虽有所下降，但综合来看明显更优。

在纯图片溯源上，MULTATTNATTRIB的表现更为突出。图片精确率从VLM基线的0.477一跃至0.750，提升近57%，F1从0.617升至0.776，提升近26%。这说明通过注意力信号直接定位图片来源，比让模型用语言描述方式判断图片是否相关要准确得多。

在图文混合溯源上，MULTATTNATTRIB同样全面超越所有Qwen基线，F1从0.493升至0.582，精确率和召回率均有提升。

与GPT-5.4相比，MULTATTNATTRIB在图片溯源上的精确率（0.749 vs 0.653）和F1（0.786 vs 0.732）均超过了GPT-5.4的所有变体，因为注意力信号直接操作在图像块（patch token）层面，而语言生成式方法需要把视觉内容“翻译”成语言再做判断，这个翻译过程不可避免地会损失精度。在文字溯源上，GPT-5.4凭借其庞大的规模在精确率上有优势，但MULTATTNATTRIB在召回率上更高，两者各有侧重。

在计算代价上，这个差距尤为显著。在非vLLM的单GPU单批次场景下（一块NVIDIA A100），直接提示VLM法平均每次推理需要约15.67秒，峰值显存占用约78.28GB，且频繁出现显存溢出错误。MULTATTNATTRIB的平均推理时间仅为2.16秒，峰值显存约63.41GB，降低了近15GB，速度快了7.3倍。这意味着在相同硬件上，MULTATTNATTRIB每小时能处理的文档数量大约是传统提示法的七倍，而且几乎不会因为文档太长而崩溃。

六、域名难度：法律文书比学术论文更好“挖”

研究团队还分析了不同领域文档对所有方法的影响，这个分析揭示了一些有趣的规律。

五个领域按溯源难度从难到易排列大致是：学术、市场营销、健康、商业、法律。学术文档的综合F1只有约0.54，而法律文档的综合F1高达约0.74，两者之间差了整整20个百分点。

学术文档难在哪里？学术写作有一个特点：同一个知识点往往在摘要、正文、结论里被反复陈述和改写，参考文献之间相互交叉引用，核心概念在不同章节以不同措辞出现。这导致溯源系统很难判断某个特定答案“最精准地”来自哪一处，容易出现“过度标注”——把太多段落都标为来源，导致精确率下降。

法律文档则完全相反：条款就是条款，某一项要求出现在第X条，它就在那里，不会在其他地方用同样的方式表述。这种高度结构化的写作风格反而为溯源系统提供了清晰的信号，定位更准确。

另一个值得关注的发现是：不同方法之间的相对优劣关系，不会因为换了文档领域而改变。无论是学术还是法律，MULTATTNATTRIB都比VLM直接提示更好，Cohere RAG辅助又比单纯的MULTATTNATTRIB更好，ColQwen RAG辅助效果则次于Cohere RAG。这说明MULTATTNATTRIB的优势不依赖于特定的文档类型，具有较好的泛化性。

七、局限性：还有哪些“矿区”尚未开采

这支团队在论文里坦诚地列出了方法和数据集目前存在的局限性，这部分内容同样值得关注。

在数据集方面，MULTATTREVAL中包含了不少装饰性图片或近似重复的图片，这些图片在视觉上和真正的来源图片很像，但实际上不包含答案所需的信息。由于评测使用精确匹配，当基线方法把这些“相似但错误”的图片标为来源时，会受到惩罚，使得基线方法的图片精确率偏低。此外，当前数据集对每道题只标注一张图片作为来源，但现实中一个答案完全可能同时来自两三张图，这一点在当前版本里尚未覆盖。

在方法本身方面，MULTATTNATTRIB需要一小批有标注的探针样本来完成头识别和阈值校准。虽然90个样本已经相当精简，但要完全消除这个标注需求，未来可以探索“无监督头评分”方法——但研究团队也指出，纯相关性打分可能会选出那些“碰巧”关注了证据区域的头，而不是“因果性地”驱动答案的头，效果可能打折扣。阈值校准也可以用固定规则替代F1最优化扫描，但会牺牲一定的准确率。

此外，MULTATTNATTRIB目前只在Qwen3-VL-30B一个开源模型上进行了完整验证。不同架构、不同规模的视觉语言模型里，注意力头的溯源信号是否同样清晰，还需要进一步验证。

归根结底，这项工作的意义在于它证明了一件此前并不显而易见的事：在一个视觉语言模型处理图文混合文档时，模型内部的注意力机制已经自发地形成了一套“证据雷达”，可以被外部方法捕捉和利用，而不需要对模型本身做任何改动。这就好比你不需要教一个经验丰富的医生怎么读CT片——他的眼睛已经知道该往哪里看，你需要的只是一套设备，能把他眼球运动的轨迹记录下来，告诉病人他在关注哪个位置。

当然，从实验室到真实部署还有距离。如何在更多样的文档类型、更多样的模型架构、更大规模的数据上验证和改进MULTATTNATTRIB，是这支团队在论文中明确留给未来的工作。对于普通用户而言，这项研究意味着未来的AI助手在给出答案的同时，有可能更可靠、更快速地告诉你“这个结论我是从文档的哪个地方得出的”——而这种透明度，正是让AI真正值得信赖的基础。

Q&A

Q1：MULTATTNATTRIB方法需要重新训练AI模型吗？

不需要。MULTATTNATTRIB是一种“无训练”方法，它不修改AI模型的任何参数，只是在模型正常处理文档时，从内部的注意力信号里读取证据位置信息。这意味着它可以直接套用在现有的视觉语言模型上，不需要额外的训练数据或训练时间。

Q2：MULTATTREVAL数据集和其他多模态溯源数据集有什么本质区别？

现有的多模态溯源数据集（如MCiteBench、MA VIS等）通常把文档预先拆成候选片段，让模型从中挑选，相当于做多选题。MULTATTREVAL要求模型在完整的长文档中定位来源，不提供候选池，更接近真实部署场景。此外它同时覆盖纯文字、纯图片和图文混合三种溯源类型，并跨越五个领域，是目前已知第一个专门为此场景设计的评测基准。

Q3：MULTATTNATTRIB在速度上比传统提示方法快多少，为什么？

在相同硬件（NVIDIA A100）和相同基座模型下，MULTATTNATTRIB的推理速度约为直接提示VLM方法的7.3倍，峰值显存降低约15GB。原因在于传统提示法需要模型生成大量文字作为溯源输出，而MULTATTNATTRIB只做一次前向计算（读一遍文档），直接从注意力权重中提取来源位置，完全跳过了文字生成阶段，也避免了KV缓存的持续增长。