SFT之后

，直接上强化进建就够了吗？

幼心

，你做的可能不是“训练”

，而是“还债”。

在多模态大模型（MLLM）的后训练中

，行业内持久遵循着一个看似至理名言的范式：先SFT

，再RL

，两步到位。

从DeepSeek到Qwen

，从GRPO到DAPO

，各人拼命优化RL算法的不变性、采样效能、嘉奖设计……却险些没人回头看一眼：

SFT到RL之间

，是不是少了点什么？

但来自香港科技大学（昭通）、南洋理工大学、清华大学等机构的最新钻研Beyond SFT-to-RL(PRISM)给出了一个令人不安的发现：

SFT不仅没有为RL铺好路

，反而在偷偷挖坑。

被忽视的“隐形断层”：SFT到底做了什么？

先看一组比力有意思的数据（7个主流多模态benchmark的均匀正确率）：

Qwen3-VL-4B

Qwen3-VL-8B

原始Instruct模型

56.8% (-3.0)

58.1% (-5.2)

SFT → GRPO

能够看到

，SFT之后

，模型机能反而降落了。

8B 模型要更为显著一点：SFT掉了5.2个点

，辛苦累苦做完强化进建

，才刚刚爬回基线(baseline)的水平（63.3%→58.1%→63.3%）。

也就是说

，你的RL可能一向在“还债”

，而不是在“提升”。

并且这绝不是个例。

在当下主流的强Instruct模型上（Qwen3-VL等）

，只有SFT数据带入一个与基座不一致的新散布（好比目前最常见的GPT/Gemini蒸馏数据）险些城市观察到类似的掉点。

原因很直接：这类基座已经经过大规模、精密的后训练

，能力本就处于一个相对不变的高位。

SFT逼着模型去仿照一套新散布

，了局就是用一个更“窄”的散布去覆盖一个更“广”的能力

，旧能力被冲掉、新能力又没真正学到。

换句话说

，模型越强、越靠近现实部署的水平

，SFT引入的散布偏移就越成为RL之前一路绕不开的“暗坑”。

这刚好是PRISM必须存在的理由。

这背后的主题问题

，是后训练里早已被反复会商的散布漂移（Distributional Drift）。

但在多模态场景下

，它有一套更荫蔽、也更难治的阐发大局。

问题本原：SFT引入的两类误差

SFT在多模态场景下

，会引入两类容易被忽视的误差：

误差一：表表仿照——token级loss把过程和了局同权处置

SFT的优化指标是在均匀的token级loss下仿照演示轨迹。

它不分辨“过程”和“了局”：对模型来说

，正确的推理步骤和体式化的模板套话

，权重是一样的。

了局就是模型学会了“长得像」佚确答案

，而不是“想得出」佚确答案。 它学到的是表表模式

，而非忠诚的推理能力。

误差二：感知漂移与推理漂移在统一个loss里被混起来

这是多模态场景特有的麻烦。与纯文本模型分歧

，多模态模型的漂移不是单一的

，而是两种定性分歧的失败模式在同时发生：

感知漂移：视觉定位犯错

，模型“看错了”推理漂移：逻辑推导失败

，模型“想歪了”

这两衷殳移的成因分歧、纠正方式分歧

，但SFT用统一个token loss把它们一路拟合。

而当RL阶段时

，模型已经在感知和推理两端同时偏移

，即一个“既看禁绝、又想不合”的模型。

现有RL算法为什么救不了？

从GRPO

，到DAPO

，再到GSPO

，RL算法这一段功夫的确一向在进取。

但它们解决的是RL阶段内部的问题：采样效能、梯度方差、战术崩溃。没有任何一个RL算法回头去建复SFT留下的散布误差。

这里举个不太适当的例子：这里就好比你参与百米短跑

，SFT不仅没有让你往前走

，反而把你向后推了50米。

现有的RL算法都在钻研怎么跑得更快

，但起点还在坑里

，而PRISM要做的

，就是在SFT和RL之间补上这一步

，不仅把你拉回起跑线

，还顺势往前推一把

，让RL只用跑50米就能冲线。

PRISM的主题规划：三阶段流水线(Pipeline)

PRISM突破了传统的两阶段范式

，提出了SFT → 散布对齐 (PRISM) → RLVR的三阶段流水线。

关键创新在于中央的散布对齐阶段。

混合专家判断器（MoE Discriminator）

感知漂移和推理漂移是两类成因分歧的误差

，必要分隔处置。

PRISM为此设计了一个混合专家判断器

，由两个专门化的专家组成：

感知专家D_v：专门评估视觉描述

，丈量模型的输出是否忠诚于图像内容

，解决感知漂移推理专家D_r：专门评估推理轨迹

，丈量逻辑推导是否一致有效

，解决推理漂移

最终判断得分为两者的加权组合：

r(x,y) = α · D_v(x,c) + (1-α) · D_r(x,t)

这种设计的益处是提供解耦的纠正信号

，预防将两种齐全分歧的误差模式塞进一个标量里

，导致梯度信号变得嘈杂。

黑盒蒸馏：不必要老师logits

PRISM的另一个优雅之处在于：它是黑盒的。

好多蒸馏步骤必要接赐老师模型的logits（内部概率散布）

，这意味着你得有老师模型的齐全权重。

但在现实场景中

，最强的模型往往只提供API

，你只能看到输出

，看不到内部状态。

PRISM齐全在响应级别工作：从强模型（Gemini 3 Flash）采集高质量输出作为正样本

，从当前战术采样作为负样本

，通过匹敌博弈来对齐散布。

只有能调API

，就能用PRISM。

一个重要的设计决策：去掉KL正则化

传统RL训练通

；峒右桓鯧L散度约束

，预防战术偏离初始模型太远。但PRISM有意识地去掉了这个约束。

路理很单一

，对齐阶段的主张

，就是纠正SFT带来的散布误差。再加一个把战术拉回SFT散布的KL约束

，自身就和这个指标相互矛盾。

散布演变：对齐真的把模型拉回到更好的肇始点

下图直观地展示了散布的演变过程：从Base到Post-SFT再到Post-Alignment

，无论是推理步数还是视觉描述项数的散布

，都在逐步向监督数据挨近：

能够清澈看到：Post-SFT（蓝线）与Supervision（黑线）仍有显著误差

，而Post-Alignment（橙线）则大幅缩幼了这一差距

，且这种改进在Post-RLVR（绿线）阶段得以维持。

尝试验证

在Qwen3-VL的4B和8B两个规模上

，PRISM搭配GRPO/DAPO/GSPO三种主流RL算法

，在4个数学推理基准（MathVista、MathVerse、MathVision、WeMath）和3个通用多模态基准（MMMU、MMMU-Pro、HallusionBench）上全面验证了有效性。

下表是论文Table 1的主了局（灰色行为PRISM）：

从主内外能读出几个值得发展的信号：

(1)模型越强

，PRISM的增益越大：8B拿到+6.0的均匀提升

，4B为+4.4

，更强的基座被SFT“中伤”得更深

，也因而从对齐中受益更多

；

(2)PRISM在绝大无数子基准上拿到了同基座下的最佳分数（表中加粗）

，覆盖数学推理与通用视觉理解两类工作

，这意味着对齐带来的不是某个领域的部门增益

，而是散布层面的全局校准。

消融尝试：每一步都不成或缺

从消融表（论文Table 2）里能直接读出每个组件的贡献：

(1)去掉SFT阶段直接掉16.8个点

，注明SFT作为“冷启动”仍不成代替

，PRISM不是要取代SFT

，而是建复它带来的副作用

；

(2)去掉对齐阶段掉4.4个点

，与4B主表的提升幅度齐全对应

，是散布对齐成效的直接证据

；

(3)单个4B判断器代替MoE掉3.4

，仅文本判断器掉3.9。

后者尤为有趣：没有视觉感知的判断器只能捉拿表表模式（体式、模板、风格）

，导致战术学会了“鹦鹉学舌式对齐”

，听起来像监督数据

，但现实上看不到所描述的内容。

PRISM的出现

，给多模态大模型的后训练范式打上了一个“补丁”

，但这个补丁可能比主法式还重要。

SFT 和RL之间不是无缝衔接

，而是存在一路被持久忽略的散布断层。RL算法再强

，若是起点就歪了

，跑得越快只会偏得越远。

让多模态大模型在推理工作上再进一步

，不定要靠更复杂的RL算法或更多训练数据。

把SFT和RL之间这一步对齐补上

，模型天然会跑得更稳。

Arxiv：https://arxiv.org/abs/2604.28123

Github：https://github.com/XIAO4579/PRISM

合作详询：swang886@connect.hkust-gz.edu.cn

　　金正恩向普京道喜电

台空军一架锻练机出事坠毁致2死