起源：北京市级机关搬迁将于2026年底实现作者： 张家新：

SFT别急着接RL！你的多模态大模型可能一向在“带伤训练”

PRISM团队 投稿量子位 | 公家号 QbitAI

SFT之后，直接上强化进建就够了吗？

幼心，你做的可能不是“训练”，而是“还债”。

在多模态大模型（MLLM）的后训练中，行业内持久遵循着一个看似至理名言的范式：先SFT，再RL，两步到位。

从DeepSeek到Qwen，从GRPO到DAPO，各人拼命优化RL算法的不变性、采样效能、嘉奖设计……却险些没人回头看一眼：

SFT到RL之间，是不是少了点什么？

但来自香港科技大学（昭通）、南洋理工大学、清华大学等机构的最新钻研Beyond SFT-to-RL(PRISM)给出了一个令人不安的发现：

SFT不仅没有为RL铺好路，反而在偷偷挖坑。

被忽视的“隐形断层”：SFT到底做了什么？

先看一组比力有意思的数据（7个主流多模态benchmark的均匀正确率）：

Qwen3-VL-4B

Qwen3-VL-8B

原始Instruct模型

56.8% (-3.0)

58.1% (-5.2)

SFT → GRPO

能够看到，SFT之后，模型机能反而降落了。

8B 模型要更为显著一点：SFT掉了5.2个点，辛苦累苦做完强化进建，才刚刚爬回基线(baseline)的水平（63.3%→58.1%→63.3%）。

也就是说，你的RL可能一向在“还债”，而不是在“提升”。

并且这绝不是个例。

在当下主流的强Instruct模型上（Qwen3-VL等），只有SFT数据带入一个与基座不一致的新散布（好比目前最常见的GPT/Gemini蒸馏数据）险些城市观察到类似的掉点。

原因很直接：这类基座已经经过大规模、精密的后训练，能力本就处于一个相对不变的高位。

SFT逼着模型去仿照一套新散布，了局就是用一个更“窄”的散布去覆盖一个更“广”的能力，旧能力被冲掉、新能力又没真正学到。

换句话说，模型越强、越靠近现实部署的水平，SFT引入的散布偏移就越成为RL之前一路绕不开的“暗坑”。

这刚好是PRISM必须存在的理由。

这背后的主题问题，是后训练里早已被反复会商的散布漂移（Distributional Drift）。

但在多模态场景下，它有一套更荫蔽、也更难治的阐发大局。

问题本原：SFT引入的两类误差

SFT在多模态场景下，会引入两类容易被忽视的误差：

误差一：表表仿照——token级loss把过程和了局同权处置

SFT的优化指标是在均匀的token级loss下仿照演示轨迹。

它不分辨“过程”和“了局”：对模型来说，正确的推理步骤和体式化的模板套话，权重是一样的。

了局就是模型学会了“长得像」佚确答案，而不是“想得出」佚确答案。 它学到的是表表模式，而非忠诚的推理能力。

误差二：感知漂移与推理漂移在统一个loss里被混起来

这是多模态场景特有的麻烦。与纯文本模型分歧，多模态模型的漂移不是单一的，而是两种定性分歧的失败模式在同时发生：

感知漂移：视觉定位犯错，模型“看错了”推理漂移：逻辑推导失败，模型“想歪了”

这两衷殳移的成因分歧、纠正方式分歧，但SFT用统一个token loss把它们一路拟合。

而当RL阶段时，模型已经在感知和推理两端同时偏移，即一个“既看禁绝、又想不合”的模型。

现有RL算法为什么救不了？

从GRPO，到DAPO，再到GSPO，RL算法这一段功夫的确一向在进取。

但它们解决的是RL阶段内部的问题：采样效能、梯度方差、战术崩溃。没有任何一个RL算法回头去建复SFT留下的散布误差。

这里举个不太适当的例子：这里就好比你参与百米短跑，SFT不仅没有让你往前走，反而把你向后推了50米。

现有的RL算法都在钻研怎么跑得更快，但起点还在坑里，而PRISM要做的，就是在SFT和RL之间补上这一步，不仅把你拉回起跑线，还顺势往前推一把，让RL只用跑50米就能冲线。

PRISM的主题规划：三阶段流水线(Pipeline)

PRISM突破了传统的两阶段范式，提出了SFT → 散布对齐 (PRISM) → RLVR的三阶段流水线。

关键创新在于中央的散布对齐阶段。

混合专家判断器（MoE Discriminator）

感知漂移和推理漂移是两类成因分歧的误差，必要分隔处置。

PRISM为此设计了一个混合专家判断器，由两个专门化的专家组成：

感知专家D_v：专门评估视觉描述，丈量模型的输出是否忠诚于图像内容，解决感知漂移推理专家D_r：专门评估推理轨迹，丈量逻辑推导是否一致有效，解决推理漂移

最终判断得分为两者的加权组合：

r(x,y) = α · D_v(x,c) + (1-α) · D_r(x,t)

这种设计的益处是提供解耦的纠正信号，预防将两种齐全分歧的误差模式塞进一个标量里，导致梯度信号变得嘈杂。

黑盒蒸馏：不必要老师logits

PRISM的另一个优雅之处在于：它是黑盒的。

好多蒸馏步骤必要接赐老师模型的logits（内部概率散布），这意味着你得有老师模型的齐全权重。

但在现实场景中，最强的模型往往只提供API，你只能看到输出，看不到内部状态。

PRISM齐全在响应级别工作：从强模型（Gemini 3 Flash）采集高质量输出作为正样本，从当前战术采样作为负样本，通过匹敌博弈来对齐散布。

只有能调API，就能用PRISM。

一个重要的设计决策：去掉KL正则化

传统RL训练通；峒右桓鯧L散度约束，预防战术偏离初始模型太远。但PRISM有意识地去掉了这个约束。

路理很单一，对齐阶段的主张，就是纠正SFT带来的散布误差。再加一个把战术拉回SFT散布的KL约束，自身就和这个指标相互矛盾。

散布演变：对齐真的把模型拉回到更好的肇始点

下图直观地展示了散布的演变过程：从Base到Post-SFT再到Post-Alignment，无论是推理步数还是视觉描述项数的散布，都在逐步向监督数据挨近：

能够清澈看到：Post-SFT（蓝线）与Supervision（黑线）仍有显著误差，而Post-Alignment（橙线）则大幅缩幼了这一差距，且这种改进在Post-RLVR（绿线）阶段得以维持。

尝试验证

在Qwen3-VL的4B和8B两个规模上，PRISM搭配GRPO/DAPO/GSPO三种主流RL算法，在4个数学推理基准（MathVista、MathVerse、MathVision、WeMath）和3个通用多模态基准（MMMU、MMMU-Pro、HallusionBench）上全面验证了有效性。

下表是论文Table 1的主了局（灰色行为PRISM）：

从主内外能读出几个值得发展的信号：

(1)模型越强，PRISM的增益越大：8B拿到+6.0的均匀提升，4B为+4.4，更强的基座被SFT“中伤”得更深，也因而从对齐中受益更多；

(2)PRISM在绝大无数子基准上拿到了同基座下的最佳分数（表中加粗），覆盖数学推理与通用视觉理解两类工作，这意味着对齐带来的不是某个领域的部门增益，而是散布层面的全局校准。

消融尝试：每一步都不成或缺

从消融表（论文Table 2）里能直接读出每个组件的贡献：

(1)去掉SFT阶段直接掉16.8个点，注明SFT作为“冷启动”仍不成代替，PRISM不是要取代SFT，而是建复它带来的副作用；

(2)去掉对齐阶段掉4.4个点，与4B主表的提升幅度齐全对应，是散布对齐成效的直接证据；

(3)单个4B判断器代替MoE掉3.4，仅文本判断器掉3.9。

后者尤为有趣：没有视觉感知的判断器只能捉拿表表模式（体式、模板、风格），导致战术学会了“鹦鹉学舌式对齐”，听起来像监督数据，但现实上看不到所描述的内容。

PRISM的出现，给多模态大模型的后训练范式打上了一个“补丁”，但这个补丁可能比主法式还重要。

SFT 和RL之间不是无缝衔接，而是存在一路被持久忽略的散布断层。RL算法再强，若是起点就歪了，跑得越快只会偏得越远。

让多模态大模型在推理工作上再进一步，不定要靠更复杂的RL算法或更多训练数据。

把SFT和RL之间这一步对齐补上，模型天然会跑得更稳。

Arxiv：https://arxiv.org/abs/2604.28123

Github：https://github.com/XIAO4579/PRISM

合作详询：swang886@connect.hkust-gz.edu.cn