起源：曝有好多球队在联系詹姆斯作者： 何百真：

英伟达提出Gamma-World：世界模型从「一幼我玩」到「多人共处」

允中 发自 凹非寺量子位 | 公家号 QbitAI

当前视频世界模型在单智能体设定下已经走得相对成熟。

但多智能体场景——多个玩家共享统一个演化世界，在架构层面一向不足系统性的解决规划。

问题不在于算力不够，而在于现有的地位编码和把稳力机造，从设计上就没有为多个主体预留接口。

近日，NVIDIA结合清华大学、多伦多大学和Vector Institute颁布Gamma-World（γ-World），从RoPE扩大和把稳力拓扑两个底层组件动手，给出了一套系统性的答案。

论文标题：Gamma-World: Generative Multi-Agent World Modeling Beyond Two Players

为什么多智能体世界建模是一个难题问题

现有视频世界模型险些都成立在单智能体如果之上：

给定一个玩家的作为序列，预测该视角下的将来观测。

多智能体设定从底子上扭转了这个问题的性质——模型不再只需预测「这个智能体接下来看到什么」，而是必要同时回覆：

玩家A的移动该当在玩家B的视野中若何出现？两名玩家同时操作统一个物体，状态该当若何演化？

这不是「天生N段独立视频」的问题，而是「天生N个耦合视角对统一个演化世界的分歧投影」。

在技术层面，这意味着模型必须同时守护三重一致性：

功夫一致性：画面在时序上连贯
；跨视角一致性：A在B视野中的出现与A自身轨迹吻合
；交互一致性：多个智能体对共享环境的操作在所有视角中产生一致的状态变动。

单智能体框架在设计上只保障了功夫一致性，后两者从未被纳入考量——

这是架构层面的结构性缺失，无法通过增长数据量或模型规模来添补。

在Gamma-World之前，这个方向并非没有人尝试。

Solaris已经在双人Minecraft上获得了不错的了局，但它露出出的两个结构性问题，刚好说了然为什么将单智能体框架直接「扩大」到多智能体，是一条走不通的路。

其一，身份编码粉碎了对称性

Solaris为每个玩家分配固定的可进建槽位身份向量，内容大将「1号槽」和「2号槽」学成了两种分歧的角色类型。

在真实的多智能体世界中，能力一样的玩家性质上可互换，这种对称性的缺失使模型学到的是「特定角色的交互模式」，而非「多个平等主体共享世界的法规」，泛化性从底子上受限，且一旦必要支持新的玩家数就必须重新训练。

其二，全衔接把稳力存在扩大性天花板

让所有玩家的token两两直接交互，推算成本随玩家数量平方增长——

从2人扩大到8人，推算量从477.8G增至7.6T，增长约16倍。

这是算法复杂度决定的天花板，无法通过工程优化解决。

两个问题指向统一个结论：多智能体世界模型必要的不是建补，而是对两个主题组件的重新设计。

有关若何暗示智能体身份，以及若何设计跨智能体通讯。

主题设计一：Simplex Rotary Agent Encoding，让玩家「身份等距、职位平等」

这个设计要解决的主题矛盾是：

若何让模型既能分辨分歧的玩家，又不让任何玩家在暗示上比其他玩家「更特殊」。

视频Transformer用RoPE（旋转地位编码）来表白地位关系——给每个信息片段分配一个旋转角度，两个片段之间的地位差距通过旋转角度的差来表白。

尺度视频RoPE编码三个轴：功夫、高度、宽度。

Gamma-World加了第四个轴——玩家轴，在不扭转原有时空编码的前提下，为智能体身份单独留出一个维度。

轴加起来容易，难的是这个玩家轴上的编码怎么设计。

直接编号行不通。

给玩家按序号分配角度，会导致分歧玩家对之间的旋转距离不等：1号和2号差1，1号和3号差2。

「1号与2号的关系」和「1号与3号的关系」在暗示空间中并不等距，只管物理上齐全等价。置换对称性被编码方式自身直接粉碎。

可进建的槽位嵌入也不能。

每个座位绑定一个固定的可训练向量，模型被锁死在训练时的玩家数量上，无法扩大，这正是Solaris的主题局限。

正单纯形：所有玩家天然等距

Gamma-World的解法很优雅：把所有玩家放在一个正单纯形（regular simplex）的顶点上。

什么意思？

设想一个正三角形，所有顶点之间的距离齐全相称，没有哪个顶点更特殊。

2个玩家 → 线段的两端3个玩家 → 等边三角形的三个顶点4个玩家 → 正四面体的四个顶点

无论哪两个玩家，他们在旋转角空间里的距离齐全一样。模型看到肆意两个玩家，他们之间的几何干系是对称的，谁也不比谁特殊。

这个编码不必要任何可进建的参数

训练时，活跃玩家被随机分配到顶点池里的分歧地位，模型只能靠几何坐标来认人。

推理时想支持更多玩家，从统一个顶点池里多取几个顶点就行，架构不用改，也不用重新训练

这也是Gamma-World能做到「双人数据训练、四人场景直接跑通」的底子原因。

主题设计二：Sparse Hub Attention，从「全衔接」到「枢纽广播」

跨智能体通讯是多智能体世界模型绕不外去的需要，但以往规划的做法价值过高——

让所有玩家的所有token两两直接交互，推算成本随玩家数量平方增长：从2人扩大到8人，推算量从477.8G涨至7.6T，增长约16倍。

这是算法复杂度决定的天花板，无法通过工程优化解决。

问题的本原在于一个谬误的如果：每个token级此外细节都必要在所有玩家之间直接传递。

事实上，玩家A放下方块，玩家B必要感知的只是「世界里出现了一个方块」——这是一个紧凑的世界状态变动，而非A的全数视觉细节。

但玩家之间真的必要「直接措辞」吗？

全衔接把稳力隐含了一个如果：每个token级此外细节都必要在所有玩家之间直接传递。而这个如果在绝大无数场景下是谬误的。

Gamma-World引入一组可进建的hub token（枢纽token），组成轮辐式拓扑：

每个智能体只与自身汗青及hub token交互
；hub token汇聚所有智能体的信息压缩为共享状态提要，再广播回各智能体流
；分歧智能体之间的直接把稳力被齐全屏蔽，信息经由两跳传递：智能体→hub→智能体

这一结构将推算成本从平方复杂度压至线性复杂度。

△Sparse Hub Attention（蓝线）vs Dense Attention（红线），随玩家数量增长FLOPs差距靠近8倍

值得强调的是，稀少枢纽把稳力不只是节俭了算力，它自身也是一个更合理的综合偏置——在架构层面显式编码了「跨智能体信息应经过共享世界状态瓶颈」这一先验，而非等待模型从数据中隐式进建。

推理时通过独立的KV cache保留稀少通讯拓扑，最终实现24 FPS实时作为响应推演

步骤总览

（注：步骤总览，左侧为同步多智能体输入，中央为Tokenization，右侧为Causal Multi-Agent DiT，下方别离展示Simplex Rotary Agent Encoding和Sparse Hub Attention的示意图）

整体架构输入同步的多智能体观测和作为序列，用共享的视觉编码器和作为编码器对每个玩家流别离tokenize，再通过带稀少枢纽把稳力的因果多智能体DiT天生将来多路rollout。

推理时使用KV cache实现流式天生，每个玩家流和枢纽各守护独立缓存。

主题设计三：三阶段蒸馏，从「看得全」到「跑得快」

天生质量和推理实时性在扩散模型里天然是一对矛盾：双向模型质量最高但无法流式推理，因果模型支持实时天生但质量降落。

Gamma-World用三阶段训练在两者之间架桥。

第一阶段：训练双向老师。

老师模型可接见齐全序列（蕴含将来。，提供最高质量的天生散布，仅用于训练阶段，不参加推理。

第二阶段：训练因果学生。

学生模型只能看到当前及从前的帧，结合稀少枢纽把稳力适配流式推理。

关键在于将学生齐全训练为多步扩散模型，而非仅作为蒸馏热身——蒸馏之前学生已能产生合理的推演了局，为下一阶段提供不变起点。

第三阶段：前提Self-Forcing蒸馏。

以因果学生为起点、双向老师为指标，通过度布匹配蒸馏（DMD）将多步采样压缩为4步采样

蒸馏在自回归self-rollout下进行，训练散布与推理散布对齐，有效缓解误差累积。

全程保留初始帧与逐智能体作为序列作为前提信号，确保压缩后的模型作为可控性不退化，最终实现24 FPS流式推演

尝试了局

1、全面超过现有最强

在多人Minecraft环境的五类场景中，对比帧拼接规划和目前最强的多智能体世界模型Solaris，Gamma-World在影象、空间定位、移动、建造、跨视角一致性五个场景全面当先，关键指标FVD（视频天生质量的评估指标）均匀降幅超过40%。

2、消融：每一步设计都有现实成效

消融了局注明从「进建槽位身份」换成「单纯形编码」，FVD从256.3降至228.5，没有增长任何参数，仅通过扭转编码方式就带来了整个消融中最大的单步增益

这个了局的意思不只是「单纯形编码更好」，而是证了然一件更底子的事：

在架构中显式编码置换对称性约束，比让模型从数据中隐式进建这种结构，在样本效能和最终机能上都有显著优势

对称性是一个先验知识，把先验知识编进架构比让模型自己去发现，正本就更有效率——消融尝试用数字验证了这一点。

3、双人训练，四人直接跑通

△零样本四人泛化，模型仅用双人数据训练，推理时直接天生四路同步视角

模型仅在双人数据上训练，推理时从顶点池中启用两个新顶点，直接天生四路同步视角，无需批改任何架构参数，四路画面维持共享世界状态的一致性。

这个了局直接验证了单纯形编码的主题设计指标：泛化到肆意玩家数，不必要见过那个玩家数的训练数据。

无论是Solaris、Enigma Labs的Multiverse还是Odyssey的Agora-1，这些工作都证了然多智能体世界模型能够做，但同时都不足这样的拓展泛化能力。

4、两种典型工作的定性展示

△两智能体交互示例——两路视角维持同步，Agent 1的行为在Agent 2的视角中被正确反映

在「搁置与挖掘」工作中，两路视角实时同步，一方的操作在另一方画面中得到正确反映。

在「建造塔楼」工作中，双方协同搭建的方块在各自视角里地位一致，共享世界状态齐全守护。

当玩家临时移出对方视野时，模型仍能维持正确的空间定位——这注明模型追踪的是共享的潜在世界状态，而非独立天生各路视频后拼在一路。

5、从游戏到真实机械人

△从游戏agent到真实双臂机械人协同，模型天生维持协同活动的将来帧

钻研团队将Gamma-World利用于RealOmin-Open数据集的真实双臂机械人协同工作，以左右两条机械臂别离作为独立智能体。

天生的将来帧维持了双臂的协同活动与空间布局，统一套框架从Minecraft多人场景直接迁徙至真实物理操作，无需额表适配。

这一了局验证了多智能体世界模型框架自身的通用性，而非针对特定场景的专项规划。

这也让人不由得往更远处想：现实世界中险些所有有价值的场景，性质上都是多个主体在共享环境中合作或博弈——手术室里的多臂协同、工厂产线上的多机械人调度、自动驾驶中的多车交互。

若是一套统一的多智能体世界模型框架可能覆盖这些场景，它所代表的就不只是仿真能力的提升，而是为整个Physical AI领域提供了一个全新的数据出产和战术训练基础设施。

Gamma-World的三项主题设计，单纯形旋转智能体编码、稀少枢纽把稳力、前提师生蒸馏，别离对应多智能体世界建模中三个持久悬而未决的问题：

身份的对称暗示、交互的高效建模、质量与实时性的同时两全。

每一项都不是建补，而是在确认原有蹊径走不通之后，从更底层的建模准则重新给出的答案。

三项设计背后有一个共同的步骤论：将对问题结构的理解直接编码进架构，而非等待模型从数据中自行发现。

一个真正理解多智能体世界的模型，该当在结构上就是对称的，而不是见过足够多的数据之后，恰巧学出了近似对称的行为。

前者是理解，后者只是拟合。

Gamma-World零样本泛化到四人场景的了局，正是对这一判断最直接的尝试验证。

这一步骤论也指向一个更大的可能性：当多智能体世界模型的天生质量足以忠诚还原真实物理法规，训练数据的采集方式自身就会发生底子性转变——

从依赖真实场景的物理采集，转向由神经网络驱动的大规模仿照天生

受限于人力、空间和功夫的数据瓶颈，将有可能被无限可扩大的神经仿真所代替。

从方块世界到机械臂，Gamma-World迈出的是验证性的第一步。

真正的世界模型，学会的不该只是「画面」，而是「规定」。

论文：Gamma-World: Generative Multi-Agent World Modeling Beyond Two Players机构：NVIDIA/清华大学/多伦多大学/Vector Institute项目主页：https://research.nvidia.com/labs/sil/projects/gamma-world/GitHub：https://github.com/nv-tlabs/Gamma-WorldHuggingface: https://huggingface.co/papers/2605.28816