中科大等校：分科教学与合并实现AI图像生成能力30分提升突破

最近，一项关于AI图像生成技术的研究引起了业内的关注。这项由中国科学技术大学、加利福尼亚大学洛杉矶分校、香港中文大学及小红书联合开展的工作，以预印本形式发布于arXiv平台，论文编号为arXiv:2605.08063。

如今，AI文生图技术已不再陌生。从根据文字描述生成一张风景画，到创造出充满想象力的艺术构图，其能力令人惊叹。然而，一个长期困扰研究者的核心难题是：如何让一个模型同时精通构图、文字渲染、美学风格和图像质量？现有的训练方法往往顾此失彼，擅长画文字的模型可能构图很差，而构图漂亮的模型又可能数不清物体数量。

针对这一困境，研究团队提出了一个名为Flow-OPD的创新方案。其核心逻辑颇具启发性：与其训练一个“全能通才”，不如先分开培养多个“偏科天才”，再通过一套精密的机制，将这些专家的本领融合进同一个模型。实验数据显示，这套方法在多项核心指标上，比此前主流的方法提升了约10个百分点，效果显著。

一、多任务训练的困境：为何AI会“学新忘旧”？

理解这个问题，可以类比学生备考。同时复习多门科目时，时间分配难免冲突，强化了数学，语文可能就生疏了。在AI训练中，这种现象被称为“梯度干扰”。

目前流行的一种强化学习技术GRPO，在单一目标上表现优异。但一旦将构图、文字、美学等多个目标同时加入训练，麻烦就来了。研究团队进行了一项清晰的实验：在Stable Diffusion 3.5 Medium模型上，依次叠加四项训练目标。结果呈现出一个令人沮丧的规律——每增加一项新能力，之前已掌握的能力就会出现明显衰退。当四项训练全部叠加后，构图能力几乎跌回了起点水平。

从技术层面看，每一项训练任务都会对模型参数施加一个调整方向。当这些方向彼此冲突时，模型参数就像被多方拉扯的绳子，无法稳定优化。而单一的、稀疏的评分（如“这张图得8分”）无法提供足够细腻的指导信息，导致模型难以分辨该如何协调不同任务的需求。

二、新思路：分科培养，再合并传授

面对梯度干扰，研究团队的灵感来源于大语言模型领域的成功经验——“在线政策蒸馏”。其思路非常直观：先让多位“专科教师”各自练到顶尖，再让一个“全能学生”边实践、边接受这些教师的实时指导，从而融会贯通。

Flow-OPD的流程可以概括为三个阶段：分科精训、冷启动奠基、在线蒸馏融合。

第一阶段是培养专科教师。研究团队分别训练了四位专家：一位专攻构图与物体理解，一位专攻图片中的文字渲染，一位专攻人类审美偏好，还有一位“美学教师”则同时兼顾图像质量与审美，负责把控整体视觉质感。每位教师都在自己的专项上达到了极限性能。

第二阶段是“冷启动”。直接让一个空白的学生模型向四位老师学习，效果往往不稳定。为此，团队设计了两种预热方式：一是用教师们生成的高质量样本对学生进行有监督微调，让它先模仿；二是直接将几位专科教师的模型参数按比例合并，得到一个具备多任务能力雏形的初始学生模型。这两种方式为后续的精密训练打下了坚实基础。

三、核心机制：学生如何“边画边学”？

冷启动之后，便进入最核心的在线蒸馏训练阶段。这个过程设计精妙，包含三个环环相扣的步骤。

首先是在线采样。学生模型不是学习固定的数据集，而是每次根据文字提示独立生成一批图像。这就像学生不是抄范文，而是自己动笔写作，完成后才交由老师批改。为了增加探索性，避免陷入局部最优，生成过程还被引入了一点随机性，让模型有机会尝试更多可能性。

其次是任务路由标注。学生生成的图像需要批改，但不同图像考查的重点不同。研究团队设计了一个“硬路由”机制：根据提示词内容，自动将图像分配给最对口的专科教师进行指导。关键之处在于，教师提供的不是笼统的分数，而是“如果是我来画，每一步该如何走”的详细示范。这种“密集轨迹级监督”的信息量，远高于一个简单的数字评分。

接下来，学生模型通过计算自己生成轨迹与教师示范轨迹之间的差异来更新参数。得益于模型架构的特性，这个复杂的差异计算可以被简化为高效的欧式距离度量。同时，为了防止更新步伐过大导致训练崩溃，团队还引入了“限幅器”技术，确保学习过程稳定可控。

四、特别设计：防止“功利化”的审美锚定

解决了多任务冲突后，另一个微妙问题浮现出来：当模型过度优化功能性目标（如文字清晰度）时，图像的整体美感和多样性往往会悄然下降。这种现象在强化学习中被称为“奖励黑客”。

为了对抗这种倾向，团队提出了流形锚定正则化机制。逻辑很直接：在训练过程中，除了专科教师的专项指导，那位“美学教师”会持续在所有数据上提供视觉质感方面的监督信号。这就好比无论学生交的是语文还是数学作业，总有一位评委在旁边盯着“整体观感”打分。

从数学上看，这相当于在总目标函数中加入了一个惩罚项。如果学生模型的生成方向与美学教师的期望偏离太远，就会受到额外惩罚，从而被约束在一个高质量的“视觉流形”上运动，避免为了刷分而牺牲整体美感。

实验数据证实了这一设计的价值。加入该机制后，模型在各项功能指标维持高位的同时，美学评分得到了显著提升，有效实现了功能与形式的平衡。

五、实验数据：不仅超越基线，甚至反超教师

研究团队在四个主流基准上进行了系统评估。经过Flow-OPD训练后，模型在构图、文字渲染、图像质量和审美偏好上均获得大幅提升。与传统的混合奖励训练方法相比，Flow-OPD在构图维度提升了约19个百分点，在文字渲染维度提升了约11个百分点，综合平均得分提升约10个百分点。

更值得关注的是，Flow-OPD的最终表现不仅超越了基线，甚至在多个维度上超过了那些专门训练的“专科教师”。研究团队将这种现象称为“教师超越效应”。他们认为，多位教师同时对同一个学生施加密集监督，迫使学生形成了一种比任何单一教师都更宏观、更平衡的内部表示，从而填补了各个专家因“偏科”而产生的知识盲点。

在额外的综合构图能力评测中，Flow-OPD在颜色、形状、3D空间关系等多个子维度上都取得了最高分，展现出强大的泛化能力。这进一步说明，密集的多教师监督信号对于防止模型在复杂任务上能力退化至关重要。

六、局限与未来方向

当然，Flow-OPD也存在一些限制。首先，学生模型的能力上限受制于教师模型。如果教师在某些提示词上生成错误图像，这些错误会通过监督信号传递给学生。其次，当前方法要求教师与学生模型架构相同，这在一定程度上限制了其灵活性。

对于未来，团队提出了几个值得探索的方向：一是让教师与学生在训练中“协同进化”，而非单向知识传递；二是探索模型如何从自身的历史生成中“自我蒸馏”以强化能力；三是研究如何实现不同架构模型之间的“跨词汇蒸馏”，打破技术壁垒。

结语

归根结底，Flow-OPD做了一件很朴素但有效的事：先让专家把一件事做到极致，再用精密的机制将所有专家的本领汇聚于一身，并配以一位守护“整体气质”的导师，防止学生在学习专项技能时变得功利而粗糙。

这套思路的意义超越了数字上的提升。它揭示了一个在AI训练中普遍适用的逻辑：当目标多元且相互竞争时，粗粒度的单一评分往往无能为力。真正有效的方式，是提供细腻、分域、密集的指导信号，让模型在丰富的信息环境中自然找到平衡。这个道理，与我们培养复合型人才的经验何其相似——最好的成长，从来不是由一张试卷定义，而是多位各有专长的导师，从不同维度进行持续塑造的结果。

对于普通用户而言，这项研究的远景在于，未来的AI绘画工具有望同时做到“画什么像什么”、“文字清晰可辨”且“视觉上赏心悦目”，而无需在不同能力间做出妥协。对技术细节感兴趣的读者，可以通过论文编号arXiv:2605.08063查阅完整内容。

Q&A

Q1：Flow-OPD中的“冷启动”是什么意思，为什么需要它？

冷启动是在正式进行多教师蒸馏训练前，为学生模型打下能力基础的预热阶段。如果直接让一个空白模型向多位专科教师学习，初期极易因轨迹不稳定而导致训练失败。冷启动通过两种方式解决此问题：一是用教师生成的高质量样本对学生进行有监督微调，让其先模仿；二是直接将多个专科教师的模型参数合并，作为学生的初始状态。这两种方式都能让学生在一开始就具备基本的多任务感知能力，为后续稳定训练奠定基础。

Q2：Flow-OPD和普通的混合奖励训练相比，本质区别是什么？

普通混合奖励训练将多个任务的评分压缩成一个总分来指导模型更新，信息稀疏，且不同任务的梯度方向容易互相冲突，导致“学新忘旧”。Flow-OPD则让每位专科教师在每一个生成步骤上提供详细的“速度场示范”，信息密度极高，并通过任务路由机制将不同任务的信号分开指导，从根本上避免了梯度干扰，因此能同时在多个维度上保持高性能。

Q3：Flow-OPD为什么有时候能超过专科教师的表现？

这种“教师超越效应”源于多位教师对同一学生模型的密集、协同指导。每位专科教师都有自己的知识盲区，但当多位教师的监督信号叠加时，这些盲区可能被其他教师的信号所覆盖或弥补。学生模型被迫整合这些多元、有时甚至是互补的指导，从而形成比任何单一教师都更全面、更鲁棒的内部表示，最终在某些边界情况下整合出超越单一专家的解决方案。这类似于由多位导师联合指导的学生，其视野和解决问题的能力可能超越任何一位单独的导师。