幼米汽车颁布世界模型全新框架,主流基准测试全面SOTA
IT之家 5 月 26 日新闻,幼米技术官方颁发,幼米汽车今日颁布 Xiaomi Auto World Model 全新框架,为业界辅助驾驶世界模型提供了新的框架蹊径,推动行业从“场景感知”向“认知推演、场景进化”的高阶状态跃迁。
据介绍,这是幼米初次将三维重建与视频天生深度耦合的一体化架构,以「重建锚定几何、天生添补设想」的新范式,突破行业持久选取的重建、天生独立拆分路线。在 Waymo、nuScenes 等主流基准测试中全面获得 SOTA,并已在幼米汽车合成数据、仿真测试、智能座舱三大主题场景实现业务落地。
▲ Xiaomi Auto World Model 成效展示
目前,世界模型有两条重要技术路线 —— 重建(WorldRec)与天生(WorldGen),各有明确的优势与短板:
重建从多视角观测复原几何精确的 3D 场景,优势是高保真、强一致性,但只能还原已见内容,不足设想能力;天生通过扩散模型直接预测将来画面,能 " 设想 " 未观测视角和未发生场景,但不足显式 3D 结构,且长时序下容易漂移失真。
Xiaomi Auto World Model 则是提出一个全新的整合框架,将重建?橛胩焐?樯疃锐詈,让两者在结构上相互约束。重建提供 3D 几何作为结构化锚点,约束天生过程的不变性;天生则把预测能力延长到观测之表,添补重建的天堑。两者形成关环、相互增益,从三个关键维度实现了“1+1>2”的协同增益:
高不变性:WorldRec 简直定性几何约束,有效抑造长时序自回归中的误差累积与内容漂移。高一致性:4D 场景表征作为跨帧共享影象,确保分歧时刻、分歧视角下场景内容全局一致。高真实性:WorldGen 以 WorldRec 渲染的 RGB 图像为几何骨架,使合成内容既切合物理布局,又切近真实传感器观测,显著缩幼了“仿真-现实”的领域天堑。
▲ WorldGen 的极端场景成效
Xiaomi Auto World Model 已经在幼米汽车三大现实场景中落地:
合成数据天生:已交付超过 10 万 clips 高质量合成数据,直接用于感知模型训练,提升车辆在危险场景下的鉴别能力。仿真测试:构建关环仿真环境,优化测试效能,完整测试规范,可在仿真中复现真实变乱进行定向优化。辅助驾驶私塾:利用世界模型动态天生第一人称驾驶讲授视频,用户面对复杂路况时,系统以天生式视频展示正确操作。目前已经上线幼米全车型的辅助驾驶私塾 - 实景仿照场景。
IT之家附有关技术主页与论文链接如下:
技术主页:https://JointWM.github.io/论文链接:https://arxiv.org/pdf/2605.18137
文章点评
未查问到任何数据!
颁发评论
◎迎接参加会商,请在这里颁发您的见解、互换您的概想。