这项由中国科学技术大学、腾讯混元前沿实验室及新加坡国立大学联合开展的研究，发表于2026年第43届国际机器学习大会（ICML），论文编号为arXiv:2607.02291，有兴趣深入了解的读者可通过该编号查询完整论文。
你有没有发现，很多AI生成的图片看起来非常"刻意"——画面是很精美，但总感觉里面每一张图都像是从同一个模子里刻出来的，千篇一律，毫无生气？更奇怪的是，明明研究人员花了大量精力去"奖励"AI生成好看的图片，结果AI反而越训练越出问题：画面里突然冒出奇怪的彩虹纹路，文字乱成一团，整体风格诡异得像是出了故障。这个现象在AI研究圈里有个专属名字，叫做"奖励黑客"——也就是AI找到了"投机取巧"的方式，用表面分数好看来糊弄你，实际上生成图片的质量反而越来越差、越来越单一。
这支来自中科大、腾讯和新加坡国立大学的研究团队注意到了这个根本性的问题，并给出了一套全新的解决思路。他们的核心观点是：以前大家训练AI的方式，是让AI一张一张地去"取悦"评分系统，就好像你让一个厨师每道菜都单独去讨好一位口味刁钻的食客，最终厨师只会越来越擅长讨好那一位食客的口味，整体菜单反而越来越单调。而这支团队的新方案，是让AI去追求整体菜单的水准——不是每道菜单独拿高分，而是整桌菜的搭配和整体质量要好。
用更具体的比喻来说：以前的训练方式，像是让一个画展的策展人去评价"每一幅画单独好不好看"，AI为了讨好这位策展人，最后所有画都变成同一种风格，画展毫无多样性。而研究团队的新方案，是让AI去追求"整个画展的整体水平"，也就是说，AI不仅要保证每幅画质量过关，还要保证整批画的风格足够丰富、足够多元，真正覆盖现实世界图片的多样性。这个"整体评价"的工具，就是图像生成领域最常用的评价指标——Fréchet Inception Distance，简称FID（可以理解为"真实图片分布和AI生成图片分布之间的距离"，数值越低说明AI生成的图片整体上越接近真实图片的分布）。
实验结果相当扎实：在著名的ImageNet数据集上，这套方法让SiT模型的FID分数从8.30降低到了5.77，同时另一个反映多样性的指标FDDINOv2也从230.39降低到了164.88。在更强的EDM2模型上，FID也从3.74进一步降到了3.52。这些数字背后的含义是：AI生成的图片不仅更好看了，而且更加丰富多样，真正做到了"质量"和"多样性"两手抓。
一、AI绘画越训练越奇怪的根源在哪里
要理解为什么旧方法会出问题，先要搞清楚AI绘画的训练过程是怎么回事。简单来说，现代的AI绘画模型（比如扩散模型、流匹配模型）的工作方式，就像是一个不断"去噪"的艺术家：从一张充满随机噪点的画布开始，一步一步地把噪点去掉，最终雕刻出一张清晰的图片。这个过程要经过几十步到几百步，每一步AI都要做出判断："下一步应该往哪个方向去噪？"
在强化学习（RL）的框架下，研究人员会给AI设立一个"奖励机制"——每次AI生成一张图，就让一个评分模型给这张图打分，分数高就奖励AI，分数低就惩罚AI，反复迭代让AI学会生成高分图片。这套思路本身没问题，问题在于：评分模型是针对"单张图片"打分的，它看的是"这张图好不好看"，而不是"这批图整体上多不多样、是否覆盖了现实世界图片的各种风格和形态"。
于是AI学会了一件非常"聪明"但非常糟糕的事情：既然每张图单独打分，那我只要让每张图都往那个"最容易得高分"的方向靠，不就行了？结果就是，AI生成的所有图片越来越相似，越来越集中在那个"容易得高分"的风格上，整批图片失去了多样性，就像一个画展里所有画都是同一个画家在同一天画的同一个主题，令人窒息。更糟糕的是，为了追求单张图片的评分，AI有时候会走火入魔，生成出充满奇怪彩虹色块、文字扭曲变形、整体视觉诡异的图片——这些图片在某个评分维度上确实"得了高分"，但实际上根本不是正常的高质量图片。研究团队在论文的图1中给出了对比：使用"单张评分"训练出来的模型，FID分数反而从8.30飙升到了34.26，画面里充斥着奇异的彩虹纹路，多样性几乎完全崩溃。
这个问题的本质，是"用局部的评价标准来优化整体"带来的系统性偏差。单张图片的好坏，并不等于一批图片的整体水平。一位美食博主可以把每道菜都拍得超级诱人，但如果她一年365天只做同一道菜，你绝对不会说她是一个伟大的厨师。
二、全新思路：用"整体体检"代替"单张打分"
研究团队的核心创新，是把评价标准从"单张图片"切换到"整批图片的分布"。FID这个指标，计算的是AI生成的图片集合和真实图片集合在特征空间上的"统计距离"——具体来说，它把大量图片送进一个预训练的神经网络（Inception-v3），提取每张图的特征向量，然后比较真实图片和AI图片的特征分布是否接近。如果AI生成的图片不仅质量好，而且覆盖了各种风格、各种内容，那么它们的特征分布就会接近真实图片的分布，FID就会低。
FID的优势在于它天然惩罚"模式崩溃"——如果AI只会生成某几种图片，哪怕每张单独看都很漂亮，FID也会因为整批图片的多样性不足而变得很高。这正是团队需要的：用FID作为奖励信号，不仅能鼓励AI生成高质量图片，还能逼着AI保持生成多样性，不让它偷懒只走"容易得分"的路。
然而，直接用FID来训练AI有一个巨大的工程障碍：FID通常需要计算5万张图片的统计特征才能得到稳定可靠的数值，而在每一步训练中去生成5万张图片来算FID，计算量大得根本无法承受。更麻烦的是，强化学习的训练框架需要给每一条"生成轨迹"（也就是AI从噪点到图片的每一次去噪过程）分配一个独立的奖励信号，而FID是对整批图片的一个整体评分，它根本没办法告诉你"这一张具体的图对整体FID有多大贡献"。这就像你在评价一支篮球队的整体表现，却被要求同时给每个球员在每一秒钟的表现都单独打分——不是做不到，是思路根本对不上。
三、"子集替换"策略：用小样本撬动大评价
为了解决FID计算成本高昂、无法给单张图片打分的问题，研究团队设计了一个精巧的"子集替换"策略。这个策略的核心思路，可以用一个日常生活中的场景来理解。
假设你是一家博物馆的馆长，馆里永久陈列着5000件藏品，你想知道新进的一批藏品质量怎么样。如果你把所有藏品都撤掉、重新布展，工程量太大。但如果你随机取出其中50件藏品，换上等量的新藏品，然后让一批专业评委对整个博物馆重新评分，这个评分的变化就可以反映那50件新藏品的整体质量——成本小得多，但信息依然有参考价值。
研究团队的策略与此如出一辙。他们首先用预训练好的AI模型生成一个参考图片集合（比如5000张，类别均衡分布），并计算这个参考集合相对于真实图片集合的FID作为基准。在每一步训练的"采样"阶段，AI会新生成一小批图片（比如50张），用这50张新图片替换掉参考集合中随机选取的50张旧图片，然后计算更新后参考集合的FID，称之为"替换FID"。这个替换FID的负值（数值越低越好所以取负值）就作为这50张新图片的奖励信号：如果新图片质量好、多样性高，替换后整体FID会降低，对应奖励高；如果新图片质量差或者太单一，FID会升高，对应奖励低。
这个设计的巧妙之处在于：它用一个小规模的"局部替换实验"来近似估计"新图片对整体分布的贡献"，既保留了分布级别评价的核心优势（惩罚模式崩溃、奖励多样性），又把计算成本控制在了可接受的范围内——替换50张图片算一次FID，比起生成5万张图片算一次FID，效率提升了不止一个数量级。
为了避免参考集合过时（随着AI模型更新，参考集合里的图片越来越不能代表当前模型的水平），团队还设计了周期性刷新机制：每训练10步，就用当前最新的AI模型重新生成一批图片来更新参考集合，确保参考集合始终与训练中的模型保持同步。
在具体的训练机制上，团队采用了类似近端策略优化（PPO）的方法——每次采样生成一批图片，计算它们的奖励，再把奖励标准化为"优势值"（用这批图片的奖励减去平均奖励再除以标准差，这样每一步的信号都在同一个尺度上，不会因为某一步FID恰好特别高或特别低就导致训练不稳定），最后用策略梯度的方式更新AI模型的参数。值得一提的是，实验发现在整个批次范围内做标准化（批级别优势归一化）要比在每个小组内单独标准化（组级别归一化）效果更好，训练收敛更稳定。此外，团队还发现只保留当前批次中表现最好的前25%的样本用于参数更新，要比全部样本一起更新效果更好——丢掉那些"拖后腿"的样本，让训练信号更纯净。
团队还做了一组直观的对比实验：先用子集替换策略做"拒绝采样精调"（Rejection Sampling，简称RS——就是只从每批生成结果里选出奖励最高的那部分图片来进行监督训练），再切换到完整的强化学习训练（RL）。RS阶段就把SiT模型的FID-50K从8.30降到了6.98，FDDINOv2从230.39降到了183.75；继续做RL训练后，FID-50K进一步降到了5.77，FDDINOv2降到了164.88。这两个数字同时改善，说明方法不是在单一指标上过拟合，而是真正提升了模型整体的生成质量和多样性。
四、还有一个暗藏的麻烦：训练时和用的时候不一样
即便子集替换策略解决了"奖励黑客"的问题，研究团队在实验中还发现了另一个令人头疼的现象：用强化学习训练出来的模型，在训练时表现越来越好，但到真正使用的时候，效果却没有同步提升。
这个问题的根源，在于AI绘画模型有两种"工作模式"。在训练阶段，为了让AI有足够的"探索空间"（也就是AI能尝试各种不同的去噪路径，而不是每次都走同一条路），研究人员通常会在去噪过程中引入额外的随机噪声，这在数学上叫做"随机微分方程"（SDE）模式。但到了实际使用阶段，为了生成速度快、结果稳定，大家普遍使用的是"确定性微分方程"（ODE）模式——没有额外噪声，每次从同一个起点出发都会得到同一张图片。
这两种模式在数学上并不完全等价，训练时在SDE下学到的"好习惯"，在ODE下并不能完整地发挥出来。研究团队在图4(b)中给出了清晰的证据：用SDE模式训练的模型，如果用SDE模式评估，FID分数确实在稳步下降；但同一个模型如果切换到ODE模式评估，FID分数几乎原地踏步，根本没有改善。这就好比一个运动员在沙地上刻苦训练，结果上了标准跑道发现完全不适应，之前的训练白费了。
解决这个问题的第一思路是干脆不用SDE模式来训练，直接在ODE模式下做强化学习。然而这条路并不容易走，因为强化学习需要AI在探索中尝试多种可能性，ODE的确定性让这一点很难实现。于是团队想出了一个完全不同的方向：与其让AI在去噪过程中学习，不如让AI去学习"如何混合多个已有模型"。
五、后处理模型融合：用RL找到最优"配方"
这个思路的灵感来自图像生成领域一个常用但常被低估的技巧——模型融合（Model Merging）。简单来说，在AI模型的训练过程中，研究人员会在不同训练阶段保存多个"检查点"（Checkpoint），也就是多个不同版本的模型。这些不同版本的模型各有特点：早期版本可能更多样但质量参差不齐，晚期版本可能更精细但缺乏变化。如果把这些版本按照某种权重混合在一起（也就是对它们的参数做加权平均），通常能得到一个比任何单一版本都更好的最终模型。这在技术上叫做"指数移动平均"（EMA）。
以往的做法是，在训练时就预先固定好融合权重，或者训练结束后用穷举式的网格搜索（逐一尝试各种权重组合）来找到最优的融合配方。这种方式的问题是要么不够灵活，要么计算成本高。EDM2的工作曾经引入了"后处理EMA"的概念——在训练结束后再优化融合权重，但仍然依赖网格搜索。
这支团队的创新，是用强化学习来自动搜索最优融合权重，而且整个过程完全在ODE模式下运行，彻底绕开了SDE和ODE不一致的问题。
具体做法如下：团队从EDM2模型的训练历史中挑选出8个不同训练阶段的检查点（每隔一定训练量取一个），然后设计了一个简单的三层MLP（多层感知机，可以理解为一个轻量级的小神经网络）作为"策略网络"，专门负责输出8个检查点的融合权重。这个小网络通过一个可学习的"输入向量"来生成每个权重的均值和标准差，然后从高斯分布中采样出具体的权重值，把8个检查点按这些权重加权平均得到一个"融合模型"。
融合出来的模型用ODE模式直接生成图片，然后通过子集替换策略计算替换FID作为奖励信号，奖励反馈给策略网络，策略网络据此更新自己的参数，下一步再生成新的权重组合……如此循环，直到找到最优的融合配方。整个过程中，去噪过程完全是确定性的ODE，不再有SDE带来的训练-推理不一致问题。
这套方法的另一个优势是"轻量级"：整个策略网络只有区区几万个参数（和动辄数亿参数的扩散模型相比几乎可以忽略不计），训练成本极低，却能对整个大模型的性能产生可观的提升。在EDM2-XS模型上，这套方法把FID-50K从3.74降到了3.52；在更大的EDM2-S模型上，从2.57降到了2.52。虽然绝对数值上的提升看起来不大，但对于已经达到这种精度水平的顶尖模型来说，每一点改进都极为难得——就好像一个已经跑进奥运达标线的运动员，再提升0.1秒需要付出的努力，要远远超过普通人提升10秒。
六、细节决定成败：一系列精心设计的实验验证
为了确保整套方法的每个环节都经过严格验证，研究团队做了大量消融实验（也就是逐一去掉某个设计，看看效果如何变化，从而验证每个设计的必要性）。
关于参考集合的规模，团队测试了2500、5000、7500、10000四种规模。实验结果呈现出一种非线性的规律：从2500增加到5000时效果明显改善，但7500的效果反而不如5000——集合太大时，50张新图片的替换量相对于整个集合实在太小，对整体FID的影响变得过于微弱，信号噪声比下降，训练反而不稳定。最终5000张的参考集合在代表性和稳定性之间取得了最佳平衡。
关于每次替换多少张图片，团队测试了50、100、200三个选项。替换50张的效果最好：替换数量太少会引入过多随机波动（因为只有50张图片，稍微运气差点就可能碰到一批"不典型"的样本），而替换数量太多则意味着单次迭代的计算成本增加，而且信号的"分辨率"变低了（50张图片各自的贡献被平均了，很难区分哪些图片真正对质量有贡献）。
关于参考集合的刷新频率，团队测试了每5步、10步、20步刷新一次。刷新太频繁会浪费大量计算资源（因为生成整批参考图片需要消耗大量算力），刷新太慢会让参考集合过时、失去代表性。实验结果显示，每10步刷新一次是最佳选择。
关于训练样本的筛选策略，团队比较了多种方案：使用所有样本、全局最优25%、每个计算进程内各自选最优25%或50%、以及同时保留最好25%和最差25%。结果清楚地显示，保留"全局最优25%"效果最好——这说明训练信号的质量比数量更重要，把那些劣质样本也混进训练会拖慢甚至损害模型的进步。
团队还专门验证了"先做拒绝采样精调再做强化学习"是否比"直接做强化学习"更好。借鉴大语言模型领域"预训练-监督微调-强化学习"的三阶段范式，团队先用拒绝采样精调了一遍模型，然后继续做强化学习。结果却出乎意料：继续做RL之后，性能没有进一步改善，反而在某些评估指标上有所回退。原因很可能是拒绝采样阶段已经让模型对某个"局部最优"过拟合，再做RL时反而被这个过拟合限制了探索空间。最终团队选择了纯强化学习路线，跳过监督精调阶段。
七、不只是FID：全面验证方法的真实有效性
一个合理的质疑是：FID分数降低，会不会只是模型学会了"迎合FID的计算方式"，而不是真正提升了图片质量？毕竟FID是用Inception-v3网络提取特征来计算的，如果AI学会了专门针对Inception-v3网络的特征做优化，数字好看但实际质量不一定真好。
为此，研究团队在多个完全独立的评价指标上进行了交叉验证。KID（核Inception距离）和MMD（最大均值差异）同样基于Inception-v3特征但用不同的数学方法计算，这两个指标分别下降了53.5%和48.3%。FDDINOv2完全换用了另一套神经网络（DINOv2）来提取特征，结果也下降了28.5%——这是最有力的反驳证据，说明模型的提升是真实的分布级别改善，而不是针对Inception-v3的特征工程。精确率（Precision）提升了4.3%，反映每张图片的单个质量确实变好了；密度（Density）提升了12.0%，反映在特征空间里的覆盖密度更高了；覆盖率（Coverage）提升了2.9%；召回率（Recall）小幅下降了3.5%，说明多样性有轻微的取舍，但整体而言仍然是全面进步的。
在计算成本方面，团队也给出了详细的分解：整个训练过程中，FID矩阵计算（也就是子集替换策略的核心计算环节）只占每个训练步骤总时间的8%，而推理生成（10.3%）和模型参数更新（71.5%）才是主要的计算开销——这两项开销无论用什么奖励函数都逃不掉。换句话说，从"单张评分"切换到"子集替换的分布评分"，额外引入的计算成本极低，几乎可以忽略不计。值得一提的是，用来计算FID的Inception-v3网络只有2400万参数，比常用的样本级评分模型（如CLIP ViT-L的3亿参数）小了足足12.7倍，内存和算力消耗都更友好。
团队还在定性层面展示了大量生成图片的对比（论文的图6至图10），包括飞机、热气球、大熊猫、狮子、斑马等多个类别的无筛选样本（也就是没有经过人工挑选，随机展示的生成结果）。对比结果显示，在相同的初始噪声下，原始模型生成的图片有时会出现文字渲染错误、多余的视觉元素、画面扭曲、暗角等问题，而经过分布级RL训练后的模型，这些问题几乎消失，整体视觉质量明显提升，同时各张图片之间仍然保持了丰富的多样性。
说到底，这支团队做的事情，是把AI绘画训练中一个长期以来被默认接受的局限性给彻底撕开检视了一遍：用"单张图片好不好看"来训练AI，就好比用"每道菜单独好不好吃"来评价一位厨师，永远发现不了厨师其实只会做一道菜这个根本缺陷。通过把评价维度提升到"整批图片的分布是否接近真实世界"，团队不仅解决了"奖励黑客"问题，还顺手解决了一个工程上的顽疾——训练和推理时使用不同随机性级别造成的性能落差。
这项研究对普通用户意味着什么？当你下一次使用AI生成图片时，你不仅会得到一张"看起来像获奖照片"的图，而且如果你多生成几张，你会发现这些图之间的风格和内容真的是各有不同，而不是同一张图片的微调版本。对于需要批量生成图片的设计师、游戏开发者、内容创作者来说，这意味着AI工具可以真正成为一个值得信赖的"多才多艺的助手"，而不是一个只会反复复现同一种风格的"单曲循环机器"。
当然，这套方法目前还有其局限：实验主要在类别条件的ImageNet图片生成任务上进行，对于更复杂的文字描述驱动的图片生成（比如"一只穿着宇航服的猫站在月球上"），如何构建合适的参考集合还需要进一步探索。参考集合的刷新间隔和规模目前也是靠消融实验手动调出来的，如何根据训练动态自适应地调整这些参数，还是一个待解决的工程问题。有兴趣深入了解这项研究全貌的读者，可以通过arXiv编号2607.02291查阅完整论文。
Q&A
Q1：FID分数是什么，为什么用它来训练AI绘画模型？
A：FID（Fréchet Inception Distance，弗雷歇特起始距离）是衡量AI生成图片质量的一个常用指标，它不是评价单张图片好不好看，而是比较"一大批AI生成的图片"和"一大批真实图片"在统计特征上有多接近。数值越低代表AI生成的图片整体上越接近真实图片的分布，既包含质量高，也包含多样性强。用FID来训练AI，是因为它能同时惩罚质量差和多样性不足的情况，从根本上避免AI只学会生成某一种"容易得高分"的图片风格。
Q2：子集替换策略为什么能降低FID计算成本？
A：标准的FID计算需要生成5万张图片，成本极高。子集替换策略的做法是先保存一个5000张图片的参考集合，每次训练只生成50张新图片来替换集合中的50张，然后算这个"部分更新后"集合的FID作为近似奖励信号。这样每步只需要生成50张图、算一次FID，计算量只有标准方法的千分之一，但仍然能够反映新生成图片对整体分布质量的贡献方向，从而给AI提供有效的训练信号。
Q3：SDE和ODE不一致的问题具体是怎么影响AI绘画训练效果的？
A：AI绘画模型训练时通常用SDE（随机微分方程）模式，会在去噪过程中加入额外随机噪声来增加探索多样性；但实际使用时为了速度和稳定性，用的是ODE（确定性微分方程）模式，没有额外噪声。这两种模式数学上不完全等价，在SDE模式下学到的"生成策略"切换到ODE模式后效果大打折扣。实验显示，SDE训练的模型用SDE评估FID持续改善，但换成ODE评估后FID几乎不变，说明训练收益无法迁移到实际使用场景中。
贵丰配资提示：文章来自网络，不代表本站观点。
