韩国科学技术院研究团队提出的全新推理蒸馏框架CoRD

最近，一篇来自韩国科学技术院（KAIST）与蔚山国家科学技术院（UNIST）的预印本论文，在AI推理领域激起了不小的水花。这篇编号为arXiv:2605.02290的研究，直指当前“推理蒸馏”技术的一个核心痛点，并提出了一个颇具巧思的解决方案。

一个绕不开的现实问题

如今，像DeepSeek-R1这样的“大型推理模型”（LRM）已经能展现出令人惊叹的“思考”能力——面对复杂问题，它们能像人类一样，一步步推导、检查、甚至自我纠正，最终给出答案。然而，这份“深思熟虑”的代价极其高昂，其算力消耗让大多数机构望而却步。

于是，“推理蒸馏”应运而生：让小巧、高效的模型去学习大模型的思考过程，而不是仅仅记住最终答案。这听起来是个完美的思路，但问题在于：我们该如何提取大模型思考过程中最精华的部分？

目前的主流做法，是让大模型独立解题，然后从中筛选出正确且步骤合理的范例。这个方法看似直接，却存在一个深层缺陷：每个模型都在单打独斗，它们最精彩的局部思路被封锁在各自的“解题孤岛”里，无法相互借鉴。更可惜的是，大量算力被浪费在那些最终被丢弃的错误尝试上。

KAIST和UNIST团队提出的CoRD（协作推理解码）框架，正是为了打破这种隔离。它的核心理念很简单：让多个大模型像一支配合默契的团队，在推理的每一步上共同商议，择优而行。

一、为什么“各自为战”是个大问题

不妨做个比喻。假设有三位各有所长的数学老师：A擅长审题破题，B精于几何直觉，C则强在逻辑整理与最终表述。

传统的蒸馏方法，是让三位老师各自独立完成整道题的解答，然后挑出最好的一份给学生临摹。这固然能保证一份不错的答案，但三位老师的智慧从未真正融合。A在开局写下的精妙洞察，B在推导时用不上；C的清晰整理，也未能建立在A和B最强的步骤之上。

CoRD的做法，是让三位老师“同台协作”。每完成一步，就由一个公正的“裁判”评估：当前，谁写下的这一步最有可能导向正确答案？下一步就从那里继续，无论这一步来自哪位老师。最终生成的解答，可能是A开了个好头，B接力完成核心推导，再由C收尾润色——每一步都由当时最合适的“专家”贡献。

这背后有坚实的依据。实验发现，当DeepSeek-R1、QwQ-32B和Phi4-Reasoning-Plus这三个异构模型协作时，前两者确实更擅长早期的题目分析与条件拆解，而Phi4则在后期综合推理、得出结论的阶段逐渐主导。这种自然形成的“专业分工”，正是协作的力量所在。

二、CoRD的三个核心机制：分步、评分、保留选项

要实现这种实时协作，离不开三个环环相扣的精密机制。

首先是“提示引导的步骤分割”。在解题开始前，系统会要求所有模型按照“### 步骤N”的统一格式来组织推理。这一步至关重要，它相当于为不同写作风格的模型建立了通用的“标点符号”，使得来自不同模型的步骤能够被公平地比较和拼接。

其次是“预测困惑度评分”。每一步完成后，都需要判断其质量。研究引入了一个名为“元证明器”的模型担任裁判。它会审视已有的所有步骤，尝试“预测”最终答案，并计算预测的“困惑度”。困惑度越低，意味着当前路径越清晰地指向正确答案；困惑度升高，则提示可能走偏了。这个机制的妙处在于，它无需等待推理完成，就能给出前瞻性的质量信号。

最后是“束搜索”（Beam Search）。即便能逐步评分，如果每次都只走当前得分最高的那一步，仍可能陷入“局部最优”的陷阱——有些步骤看似绕路，却是后续严密推导的基石。束搜索的策略是同时保留多条（实验中设为4条）最有潜力的推理路径，让它们并行探索。最终，再从这数条完整路径中选出最优解作为训练材料。

这三个机制协同工作：统一格式确保可比性，实时评分指引方向，束搜索保障全局视野，共同编织出一张高效的协作推理网络。

三、与其他方法的正面较量

为了验证CoRD的有效性，研究团队将其与两种主流基线方法进行了严格对比：一是目前最常用的“筛选法”（让模型独立解题后挑最好的），二是“融合法”（让模型独立解题后再用一个外部模型整合所有解答）。

测试在AIME24和AIME25这两个高难度数学竞赛数据集上进行。结果一目了然。在异构教师模型协作的设置下，CoRD生成的推理数据答案准确率达到93.1%，显著高于筛选法的84.8%和融合法的91.2%。更能说明问题的是“预测困惑度”指标，CoRD达到了0.774，远优于筛选法的0.652和融合法的0.223。

融合法的困惑度为何如此之低？深入分析发现，问题出在“事后整合”本身。当外部模型需要消化总计长达近3万词的多个推理过程时，极易丢失中间的关键信息，即所谓的“中间迷失”效应。结果，深度推理被压缩成浅层摘要，训练价值大打折扣。

而CoRD的优势在最终的学生模型性能上体现得更为直观。经过CoRD-异构设置训练后，一个32B参数的学生模型在AIME24和AIME25上的正确率分别达到79.6%和70.2%。值得注意的是，它的三位“老师”——R1-Qwen-32B、QwQ-32B和Phi4-Reasoning-Plus——各自的成绩均低于此。这看似反常，实则合理：学生学到的，是三位老师智慧实时融合后的“集体巅峰”，而非任何一人的单打独斗。

四、拆解与验证：三个机制各自贡献了多少

研究并未止步于整体胜利，而是通过“消融实验”逐一审视了三个核心机制的贡献。

步骤分割方式上，对比了换行分割、基于特定关键词的前缀分割以及CoRD采用的提示引导分割。结果显示，提示引导分割因能产生语义完整、格式统一的步骤而效果最佳。

评分标准上，对比了随机选择、选择最长步骤、使用过程奖励模型（PRM）打分、语言模型二元判断以及预测困惑度五种方案。预测困惑度因其连续、前瞻的特性胜出，它既能区分细微的质量差异，又不会过早淘汰那些“先绕路后纠正”的宝贵推理模式。

解码策略上，贪心解码容易陷入局部最优；蒙特卡洛树搜索（MCTS）虽理论完备，但计算成本过高，且易偏向整体最强的模型，削弱了协作优势；束搜索则在探索广度与计算效率间取得了最佳平衡。

五、计算效率：代价值不值？

一个合理的担忧是：如此精巧的协作，计算代价是否过高？

实测数据显示，CoRD处理每道题平均耗时288.7秒，比筛选法（168.3秒）慢了约71%，但比MCTS（589.2秒）快了51%。更重要的是，当研究团队给予筛选法双倍计算预算（使其耗时接近CoRD）时，其生成的推理质量虽有提升，却依然显著低于CoRD，且未能转化为学生模型性能的增益。这说明，CoRD的优势并非源于“更耗时”，而是源于“更聪明地利用时间”——将算力投入实时协作与择优，而非生成大量重复的独立解答。

此外，担任裁判的“元证明器”其计算开销仅占总耗时的约4%，几乎可以忽略不计。总体来看，CoRD以有限的额外计算成本，换来了推理质量与学生模型性能的实质性飞跃。

六、超越数学：CoRD的泛化能力

CoRD的能力是否局限于数学竞赛？研究团队在更多领域进行了测试。

在涵盖更广数学问题的MATH500数据集上，CoRD表现稳健。在需要理解表格进行推理的财务问答数据集TaTQA上，CoRD的优势扩大到7个百分点。最具挑战性的是生物医学开放式问答数据集PubMedQA，其答案多为长段落，且无标准数值答案。经过适配调整后，CoRD在此任务上的准确率仍达到91.8%，持续领先于筛选法和融合法。这些结果强有力地表明，CoRD提炼的是一种可迁移的、通用的深度推理能力，而非对特定题型或数据的记忆。

七、局限与未来方向

当然，这项研究也存在其边界。团队在论文中坦诚指出了两点主要局限：其一，当前实验集中于英语任务，CoRD框架在多语言推理蒸馏上的有效性尚待探索；其二，目前仅采用了监督微调来训练学生模型，未来结合偏好学习等更先进的训练方法，有望进一步释放潜力。

回过头看，CoRD回答了一个朴素却关键的问题：当拥有多位专家时，是让他们实时协作、接力贡献，还是各自为战后再评选优胜？答案似乎不言自明，但将其转化为一套稳定、高效的AI算法，却需要深刻的技术洞察与精巧的设计。

这项工作的意义，远不止于几个百分点的性能提升。它更重要的启示在于：AI的推理能力，或许不仅取决于单个模型的规模，更取决于在推理过程中如何有机地组织与激发多个模型之间的互补性。有时候，一个配合默契的精英小队，其力量足以超越散兵游勇。

Q&A

Q1：CoRD中的“预测困惑度”评分具体是怎么计算的？

预测困惑度由一个称为“元证明器”的模型执行计算。在推理的每一步，元证明器会审视当前已生成的所有推理步骤，并尝试预测最终答案。它计算的是预测该答案的“困难程度”，困惑度越低，表明当前推理路径越清晰、越有可能正确；困惑度升高则意味着路径可能偏离。这是一种实时、前瞻性的评估，无需等待推理结束。实验中，由能力最强的模型（如QwQ-32B）担任元证明器效果最佳。

Q2：CoRD的束搜索和普通贪心解码有什么区别，为什么束搜索更好？

贪心解码每步只选择当前得分最高的路径，一条道走到黑，极易因局部最优而错过全局最优解。束搜索则同时维护多条（如4条）候选路径并行探索，每步从所有路径的扩展中重新筛选最优者保留，最后从完成的数条路径中择其最佳。这种方式保留了一定的探索空间，避免过早剪枝。实验数据表明，束搜索相比贪心解码能将答案准确率提升约11个百分点。

Q3：为什么融合法训练出的学生模型表现反而比筛选法还差？

融合法的症结在于“事后整合”的固有困难。它需要将一个外部模型去消化处理总计长达约3万词的多个独立推理过程。面对如此冗长的上下文，模型容易出现“中间迷失”效应，遗忘或混淆关键信息。导致的结果是，原本深度、链式的推理被压缩和浅化，失去了其核心的学习价值。学生模型从这种“失真”的浓缩版中自然学不到有效的推理模式，因此性能甚至可能不如未经蒸馏的原始模型。