起源：火车站客运员一把按倒疑轻生女子作者： 顾雅惠：

别卷推理了！当前大模型 STEM 短板在视觉感知，代码才是破局关键

本篇论文已被CVPR2026接管，第一作者官同坤来自上海交通大学人为智能钻研院博士生，导师是沈为教授和杨幼康教授。

当多模态大说话模型（MLLMs）在面对科学、技术、工程和数学（STEM）领域的视觉推理题时再三「翻车」，一个底子性的问题摆在了所有钻研者刻下：大模型做不出理科题，到底是由于「脑子笨」（推理能力受限），还是由于「眼神差」（视觉感知缺点）？

为了回覆这个问题，来自上海交通大学和 Qwen 等钻研团队通过将工作分化为两个阶段进行系统性的扩大分析：视觉感知（图像到描述）和推理（仅基于文本描述解决问题）。他们别离扩大感知和推理能力，同时维吃熹中一个能力不变。了局批注，扩大感知能力始终比扩大推理能力带来更大的机能提升。这已经验证据揭示了一个关键见解：在当前阶段，感知才是限度大模型 STEM 视觉推理的真正瓶颈地点。

基于这一深刻洞见，该团队提出了一种全新的范式——CodePercept（代码驱动的视觉感知），并成功被推算机视觉顶级会议CVPR 2026接管。

开源地址https://github.com/TongkunGuan/Qwen-CodePercept论文标题：CodePercept: Code-Grounded Visual STEM Perception for MLLMs论文链接https://arxiv.org/abs/2603.10757

主题洞见：突破天然说话的

「描述性失语」，用代码重塑感知

近年来，随着 RL（强化进建）的发作，钻研者们试图通过复杂嘉奖机造提升大模型在 STEM 领域的跨模态推理能力。但钻研团队将 STEM 视觉推理工作解耦为「感知（图像到描述）」和「推理（仅基于描述进行解答）」两个阶段后发现：扩大感知能力带来的机能提升，始终优于扩大推理能力。

既然「感知」是最大短板，那该若何评估并提升它？

痛点一：天然说话描述存在幻觉以及「描述性失语」

直觉上，用壮大的关源大模型天生图像描述（Caption）进行知识蒸馏是个好法子。但团队指出了天然说话在 STEM 领域的致命缺点——「描述性失语」。复杂的空间几何干系、精准的数值坐标、多面体中盘根错节的辅助线，底子无法仅凭天然说话来正确、齐全地刻画，且极易产生幻觉。

解决规划：面对这一痛点，钻研团队提出将可执行的 Python 代码作为壮大的视觉感知媒介，并从两个维度进行了范式重构。他们提出代码作为一种壮大的媒介，通过两项基于代码的工作显著加强 MLLM 的视觉感知能力：

1）代码驱动的描述天生（Code-Grounded Caption Generation）：基于代码的图像描述天生，利用可执行代码作为天生图像描述的真实标签，有效解除 AI 天生的描述谬误（图像 + Code -> Caption）；

2）STEM 图像到代码转录（STEM Image-to-Code Translation）：直接训练模型天生可执行的重建代码，解除天然说话描述固有的歧义（图像 -> Code）。

痛点二：现有评估系统无法剥离「感知」与「推理」

现有的基准测试（如 MathVista、MathVerse 和 MathVision）通过最终工作问题解决正确率来评估 MLLM 的能力，这结合了 STEM 领域的感知理解和推理能力。当模型失败时，我们无法确定失败是源于感知缺点还是推理能力不及。固然最近的钻研选取了两阶段评估范式（先进行图像描述，再进行 LLM 求解）来分离 MLLM 的感知能力，但该指标仅反映了模型理解问题有关信息的能力，而非全面的视觉感知能力。为了添补这一不及，我们提出了一种确定性且可验证的范式，该范式要求模型天生可能忠诚再现原始图像的可执行 Python 代码。只有通过齐全且正确的视觉理解，模型能力成功地、高保真地再现原始图像。

解决规划：面对这一痛点，钻研团队以为，要求 MLLM 天生用于图像重建的可执行 Python 代码，可能最严格地验证其感知能力。这一道理单一而壮大：只有当模型齐全理解视觉信息时，能力实现精确的图像再现。

基于此道理，他们推出了 STEM2Code-Eval：一个蕴含 1000 张图像的手动标注基准测试，旨在检验模型天生用于图像重建的可执行 Python 代码的能力，从而对视觉感知能力进行确定性和可验证的评估。

数据基石：百万级三元组数据集 ICC-1M

为了让代码成为感知的有效媒介，钻研团队构建了ICC-1M 数据集，蕴含 100 万个高质量的图像-描述-代码（Image-Caption-Code）三元组。该数据集通过三大创新流水线合成：

图像复现（Image Reproduction）：将现有 STEM 图像精准转化为可执行的 Python 代码。

图像多样化（Image Diversity）：提取种子图像的主题 STEM 道理，并在分歧的视觉语境中重新事俘化，确保天生极其丰硕的新鲜图像。

立体几何合成（Solid Geometry Synthesis）：专门针对当前多模态大模型在立体几何空间关系上的短板，开发了基于模板的立体几何代码天生流水线。

所罕见据均需通过严苛的三阶段统一质量节造（图像质量、代码质量、图码一致性验证），确保训练信号的绝对精准。

训练双引擎：两项「代码驱动」进建工作

基于 ICC-1M 数据集，CodePercept 提出了两项开创性的训练工作，系统性提升感知能力：

1、代码驱动的描述天生（Code-Grounded Caption Generation）：将可执行代码视为图像描述的「绝对真谟坠，利用代码分析中简直凿事实（如坐标、数量）进行重写，彻底解除了传统视觉说话模型固有的数字和几何幻觉。

2、STEM 图像到代码转录（STEM Image-to-Code Translation）：直接疏导大模型天生蕴含具体注解的「诠释性重建代码」，这不仅解除了天然说话描述的吞吐性，还迫使模型深刻理解「观测特点」与「代码片段」之间的内涵映射法令。

在训练战术上，团队选取了两阶段进建法：

1、第一阶段：SFT（监督微调，CodePercept-S1）。Code 性质上是一种体式化的 Caption，所以结合优化 Image2Caption 与 Image2Code 工作，使模型成立壮大的感知能力；

2、第二阶段：强化进建（CodePercept-R1）。鉴于代码天生的容错率极低，团队引入了 GRPO 强化进建专属优化代码天生。模型不仅必要拿到「体式嘉奖（语法正确）」，还要通过更严苛的「内容执行嘉奖」与「图码类似度嘉奖」，在不休的自我试错中实现能力的指数级跃迁。

硬核评测与惊艳了局

传统评测往往用「解题正确率」来衡量感知，这不仅存在误差，还容易遗漏未考查的视觉细节。为此，钻研团队推出了STEM2Code-Eval Benchmark。这是一个蕴含 1000 张经过人为精校图像的评测基准，它要求模型直接天生 Python 代码来 100% 还原原始图像，提供最确定、最可验证的视觉感知评估底线。

基于 Qwen3-VL 架构的尝试了局令人震撼：

解题端（Captioner-Solver）阐发：在同样的推理求解器下，CodePercept-8B-S1 竟然超过了比其大得多的开源巨头 Qwen2.5-VL-72B（优势达 6.2%），甚至逼近了 Claude-Opus 4.1-Thinking 和 GPT5-Thinking 等关源前沿模型的水平。

视觉重构（STEM2Code-Eval）阐发：在纯正考查感知的图像还原工作中，经过强化进建优化的 CodePercept-8B-R1 斩获了 63.56 分的佳绩（较基座提升 3.92 分），全面碾压了 Seed 1.6-Vision 和 Qwen3-VL-Plus 等超大参数规模的旗舰模型。

CodePercept 的出现不仅仅是一个新模型的诞生，它更宣告了多模态大模型在解决复杂科学问题时的一条新航路：只有给大模型装上基于代码逻辑的「火眼金睛」，真正的复杂推理之门才会被彻底叩开。