本月行业汇报公开重要信息习近平同塞尔维亚总统武契奇座谈 很欣喜为您解答这个问题，让我来助您具体注明一下。品牌授权报建电话，急剧上门服务

新乐市协神乡丰台区右安门街路四川省广安市岳池县贵州省铜仁市印江土家族苗族自治县乌鲁木齐市沙依巴克区山东省新乡市齐河县内蒙古兴安盟乌兰浩特市长安区广安街路平顶山市湛河区海南省中卫市塔城地域和布克赛尔蒙古自治县湖北省恩施土家族苗族自治州建始县蓟州区东施古镇四川省宜宾市珙县云南省玉溪市新平彝族傣族自治县福建省乐山市湖里区山西省吕梁市岚县广东省临沧市龙湖区新乐市协神乡辽宁省沈阳市张家界市龙子湖区开封市通许县桥西区留营街路赵县沙河店镇桥西区苑东街路江苏省信阳市相城区辽宁省沈阳市绵阳市利辛县湖北省恩施土家族苗族自治州建始县黑龙江省鹤岗市青海省海西蒙古族藏族自治州德令哈市北辰区湖北省宜昌市西陵区山东省通辽市城阳区北辰区山东省焦作市冠县丰台区长辛店镇福建省乐山市湖里区张家界市蚌山区山西省忻州市宁武县青海省玉树藏族自治州治多县武清区上马台镇辽宁省辽阳市白塔区山西省乌海市平定县云南省文山壮族苗族自治州广南县喀什地域叶城县甘肃省定西市渭源县广东省山南市云南省丽江市宁蒗彝族自治县平山县上观音堂乡北辰区广源街路甘肃省兰州市昌平区阳坊镇甘肃省甘南藏族自治州山东省新乡市齐河县张掖市东兴市江西省遵义市武宁县西藏山南市平山县岗南镇重庆市市辖区北碚区南开区体育中心街路黑龙江省伊春市金林区陕西省汉中市留坝县青海省海南藏族自治州贵德县青海省果洛藏族自治州甘肃省庆阳市镇原县福建省眉山市梅列区陕西省汉中市留坝县南阳市内乡县定西市靖西市江苏省宜昌市句容市内蒙古鄂尔多斯市鄂托克旗陕西省西安市未央区山东省平顶山市湖北省襄阳市襄州区开封市通许县向阳区幼关街路山东省乌兰察布市龙口市南开区长虹街路青秀区向阳区双井街路四川省成都市金牛区山东省洛阳市东平县昌平区回龙观街路平山县幼觉镇甘肃省天水市秦州区青海省玉树藏族自治州治多县平顶山市湛河区陕西省汉中市西乡县福建省眉山市梅列区长安区南村镇陕西省宝鸡市眉县和平区南市街路白银市兴安县四川省宜宾市江安县昌平区回龙观街路黑龙江省鹤岗市常德市南陵县陕西省汉中市西乡县洛阳市汝阳县

本周监管部门颁布重大钻研成就全球初次单机征服万亿巨模DeepSeek-V4！RL后训练框架Orbit开源！，很欣喜为您解答这个问题，让我来助您具体注明一下:官方服务专线，支持多品牌报建

向阳区幼红门地域向阳区幼红门地域山西省晋城市泽州县四川省乐山市贵州省黔东南苗族侗族自治州天柱县青海省海南藏族自治州贵德县福建省南充市升天县青海省玉树藏族自治州治多县辽宁省本溪市溪湖区和田地域西城区月坛街路四川省成都市双流区山西省临汾市安泽县长安区南村宜昌苏省南阳市乌鲁木齐市沙依巴克区四川省成都市新都区乌鲁木齐市沙依巴克区山西省吕梁市岚县陕西省汉中市南郑区山东省巴彦淖尔市垦利区山东省焦作市茌平区银川市宁明县开封市通许县甘肃省甘南藏族自治州鹿泉区白鹿泉乡甘肃省甘南藏族自治州行唐县龙州镇贵州省铜仁市玉屏侗族自治县蓟州区官庄镇云南省西双版纳傣族自治州勐腊县广东省丽江市广东省西安市龙门县山东省新乡市齐河县黑龙江省鸡西市鸡冠区广东省兰州市新兴县山西省忻州市定襄县青海省海西蒙古族藏族自治州德令哈市山西省吕梁市中阳县山西省朔州市山阴县四川省甘孜藏族自治州泸定县重庆市市辖区北碚区西藏山南市贡嘎县山东省呼伦贝尔市台儿庄区甘肃省庆阳市镇原县武清区汊沽港镇四川省泸州市江阳区贵州省六盘水市水城县江苏省漯河市浦口区四川省遂宁市蓬溪县门头沟区大峪街路静海区大邱庄镇甘肃省甘南藏族自治州焦作市中站区平山县东回舍镇广东省西安市龙门县重庆市市辖区北碚区行唐县龙州镇银川市宁明县内蒙古呼伦贝尔市阿荣旗张家界市龙子湖区山东省乌兰察布市牟平区江西省遵义市武宁县西藏拉萨市达孜区元氏县甘肃省天水市秦州区四川省甘孜藏族自治州丹巴县山东省巴彦淖尔市垦利区内蒙古锡林郭勒盟镶黄旗青海省海北藏族自治州门源回族自治县福建省眉山市梅列区向阳区酒仙桥街路和田地域四川省甘孜藏族自治州泸定县福建省达州市建瓯市长安区南村镇西青区精武镇青海省海南藏族自治州贵德县青海省海西蒙古族藏族自治州德令哈市向阳区双井街路山西省运城市夏县向阳区幼红门地域山东省乌兰察布市龙口市贵州省六盘水市水城县黑龙江省鸡西市鸡冠区辽宁省本溪市溪湖区山西省忻州市定襄县延庆区沈家营镇山西省吕梁市中阳县云南省红河哈尼族彝族自治州泸西县黑龙江省佳木斯市汤原县辽宁省铁岭市清河区黑龙江省大兴安岭地域呼玛县银川市山东省洛阳市东平县北辰区广源街路山西省吕梁市中阳县井陉县吴家窑乡蓟州区东施古镇黑龙江省大兴安岭地域呼玛县

全球服务区域:内蒙古鄂尔多斯市康巴什区吉林省四平市铁西区黑龙江省鹤岗市广东省临沧市龙湖区湖北省恩施土家族苗族自治州建始县江苏省南阳市辽宁省铁岭市清河区河东区大直沽街路山东省新乡市齐河县山东省呼伦贝尔市台儿庄区焦作市沁阳市平山县上观音堂乡平顶山市卫东区山东省新乡市齐河县四川省甘孜藏族自治州泸定县湖北省恩施土家族苗族自治州建始县辽宁省铁岭市清河区向阳区双井街路大兴区武威市海城区甘肃省兰州市山东省洛阳市东平县甘肃省陇南市武都区福建省南充市城厢区黑龙江省绥化市明水县甘肃省定西市渭源县湖北省宜昌市夷陵区山西省朔州市山阴县山西省乌海市平定县陕西省西安市未央区江苏省漯河市浦口区云南省西双版纳傣族自治州勐腊县丰台区和义街路河东区大直沽街路云南省西双版纳傣族自治州勐腊县江苏省宜昌市句容市辽宁省铁岭市开原市四川省凉山彝族自治州昭觉县福建省内江市永泰县北辰区广源街路陕西省宝鸡市眉县辽宁省大连市旅顺口区静海区大邱庄镇赞皇县院头镇青海省海北藏族自治州门源回族自治县陕西省宝鸡市千阳县西藏阿里地域日土县辽宁省辽阳市白塔区河西区桃园街路怀柔区雁栖地域河西区桃园街路江苏省宜昌市句容市青海省玉树藏族自治州治多县黑龙江省佳木斯市富锦市北辰区井陉县吴家窑乡山西省晋中市太谷区江苏省南阳市上海市市辖区嘉定区武威市海城区山东省郑州市青州市赞皇县院头镇云南省玉溪市新平彝族傣族自治县江西省曲靖市奉新县大兴区元氏县甘肃省甘南藏族自治州黑龙江省鹤岗市陕西省咸阳市兴平市长安区南村镇辽宁省向阳市北票市白银市兴安县甘肃省庆阳市镇原县西藏拉萨市达孜区福建省乐山市海沧区西乡塘区吉林省长春市双阳区顺义区空港街路喀什地域叶城县甘肃省兰州市四川省凉山彝族自治州昭觉县平顶山市卫东区青海省海南藏族自治州贵德县密云区古北口镇赞皇县院头镇长安区广安街路湖北省宜昌市夷陵区银川市宁明县白银市秀峰区昌平区延寿镇上海市市辖区嘉定区河东区大直沽街路湖北省宜昌市秭归县甘肃省陇南市湖北省恩施土家族苗族自治州恩施商人陉县吴家窑乡山东省乌兰察布市龙口市青秀区广东省西安市龙门县山东省乌兰察布市龙口市

今日行业协会披露新政策动向全球初次单机征服万亿巨模DeepSeek-V4！RL后训练框架Orbit开源！，很欣喜为您解答这个问题，让我来助您具体注明一下:售后服务维建中心电话，支持多渠路服务

全国服务区域：蓟州区东二营镇福建省南充市升天县洛阳市汝阳县江苏省漯河市浦口区四川省甘孜藏族自治州丹巴县山西省朔州市山阴县隆安县云南省文山壮族苗族自治州广南县四川省成都市金牛区焦作市中站区辽宁省沈阳市沈河区青海省果洛藏族自治州平山县岗南镇黑龙江省哈尔滨市巴彦县福建省乐山市海沧区赞皇县西龙门乡鹿泉区寺家庄宜昌西省曲靖市宜丰县山西省忻州市宁武县赞皇县院头镇开封市通许县甘肃省兰州市江西省曲靖市宜丰县黑龙江省佳木斯市富锦市海南省中卫市黑龙江省鹤岗市陕西省西安市未央区岳阳市瑶海区山西省晋城市高平市贵州省铜仁市印江土家族苗族自治县喀什地域叶城县四川省甘孜藏族自治州九龙县四川省广安市岳池县云南省玉溪市新平彝族傣族自治县平顶山市卫东区蓟州区官庄镇黑龙江省哈尔滨市巴彦县黑龙江省鹤岗市吉林省四平市铁西区元氏县张家界市蚌山区哈密市伊吾县伊犁哈萨克自治州昭苏县陕西省咸阳市兴平市丰台区右安门街路江苏省南阳市福建省广安市龙海市甘肃省白银市景泰县门头沟区大峪街路怀柔区宝山镇蓟州区官庄镇青海省玉树藏族自治州治多县江西省曲靖市宜丰县博尔塔拉蒙古自治州温泉县广东省临沧市龙湖区云南省西双版纳傣族自治州勐腊县山西省临汾市安泽县福建省内江市永泰县辽宁省大连市旅顺口区伊犁哈萨克自治州昭苏县四川省成都市金牛区陕西省西安市未央区湖北省宜昌市西陵区静海区大邱庄镇信阳市平桥区西藏山南市贡嘎县福建省内江市永泰县银川市密云区古北口镇内蒙古呼伦贝尔市阿荣旗陕西省宝鸡市千阳县银川市贺兰县内蒙古鄂尔多斯市鄂托克旗江苏省宜昌市句容市山西省运城市夏县辽宁省沈阳市沈河区平山县宅北乡湖北省宜昌市宜都市鹿泉区寺家庄镇湖北省恩施土家族苗族自治州建始县长安区广安街路信阳市平桥区甘肃省庆阳市镇原县静海区西翟庄镇河东区东新街路青海省海南藏族自治州贵德县江苏省漯河市浦口区海南省固原市西沙区山东省新乡市齐河县平山县东回舍镇辽宁省锦州市义县贵州省安顺市普定县内蒙古乌海市乌达区四川省甘孜藏族自治州九龙县山西省朔州市山阴县喀什地域麦盖提县山东省新乡市齐河县银川市江西省曲靖市宜丰县辽宁省沈阳市浑南区

售后服务上门服务电话，智能分配单据：全球初次单机征服万亿巨模DeepSeek-V4！RL后训练框架Orbit开源！

从数学、代码、复杂推理，到多轮工具挪用，大模型的好多能力的提升都离不开 RL 后训练。但当模型规模进入 MoE 万亿参数级别之后，RL 不再只是一个算法问题，同时越发是一个系统问题。

训练侧必要包容重大的模型权重、梯度和优化器状态

；rollout 侧必要持续天生样本，并维持足够高的吞吐

；reference policy 又会进一步放大显存和调度压力。同时，好多 RL 系统在训练时使用较高精度模型，而真正 rollout 或部署时使用低精度 serving 模型。这些精度差距，最终会体此刻部署成效与 RL 成效的不一致上。

通过将 base model 固定在部署时使用的低精度暗示，并只更新 adapter，Orbit 将 Kimi-K2.6、DeepSeek V4 级此外 1T 模型 RL 后训练压缩到单台 8×B200 上实现。同时，训练和 rollout 使用统一条低精度 base + adapter 蹊径，从系统层面解除了训练模型与 rollout / 部署模型之间的精度不一致。

Orbit 做到「让万亿模型进入单节点 RL 区间」这件事的意思在于：

预防了「训练精度」和「部署精度」不一致带来的误差，从而带来更不调换高效的 RL 后训练

；单节点 RL 能够显著降低多节点训练时的通讯时延与故障率

；在同样的 HBM 预算下，模型会获得更宽的训练空间，从前必要多卡能力训的模型，有机遇被压缩到单卡。

官方博客：https://spherelab.ai/orbit/Github：https://github.com/Sphere-AI-Lab/orbit

Orbit：支持万亿参数模型 RL 微调的高效框架

显存节造：如下图 1 所示的估算中，单节点 8×B200 的 HBM 预算约为 1536GB。对 1T 级模型而言，传统全参微调的 weight + grad 显存下界会远超单机预算

；而 Orbit 蹊径由于冻结低精度 base，只训练 adapter，能够把 1T 级模型的 RL 后训练放进单节点预算内。

图 1 分歧框架下大参数模型的单节点显存需要估算

训推精度对齐：在好多 RL 系统里，训练侧可能使用 BF16 或 FP8 等高精度 ，而推理侧使用 INT4、FP4 等低精度。对于监督微调来说，这种差距有时能够被视作推理优化的一部门

；但在 RL 中，policy log-prob 自身就是训练信号的一部门，训练侧和推理侧之间的误差 log-prob diff 会直接影响不变性。

Orbit 将这一问题前置到了系统设计中：训练和推理使用一样的低精度 base ，并在其上加载统一个 BF16 adapter，从而维持训推精度一致。

Adapter-first 的系统设计：Orbit 萦绕 adapter 对 RL 训练、推理、同步、reference policy 和低精度 MoE 做了一套整体设计。base 始终冻结，每次训练更新后，只必要将 MB 级 adapter （不需将 GB 级的 base）从训练引擎推送到推理引擎。这不仅削减了权重同步的体积，也预防了频仍重建推理引擎的开销。

单节点 Kimi-K2.6 了局

在这组尝试中，模型运行在单台 8×B200 上，训练精度为 INT4 base + BF16 adapter，rollout 精度使用一样的 INT4 base + BF16 adapter。也就是说，训练和 rollout 走的是统一条低精度 base + adapter 蹊径。

在约 200 step 的 RL 过程中，Orbit 观察到了几个同时成立的信号：

reward 上升

；eval accuracy 上升

；pass@k 上升

；train-rollout log-prob diff 维持不变。

图 2 Kimi-2.6 在 Orbit 下单机 RL 后训练信号

图 3 Kimi-2.6 在 Orbit 下单机 RL 后训练的显存纪录

图 2 显示，Kimi-K2.6 的 rollout raw reward、eval accuracy 和 pass@k 曲线随训练推动而不变上升。同时，train-rollout log-prob diff 不变维持在一个区间。

对于一个对 log-prob 差距极度敏感的训练范式来说，这些信号现实地证了然 Orbit 的 RL 后训练关环不仅在单机上把 1T 的模型上不变能跑，同时跑对了且在测试工作上有成果。

单节点 DeepSeek V4 Flash 了局

在这组尝试中，DeepSeek V4 Flash 同样运行在单台 8×B200 上。训练精度为 FP4 base + BF16 adapter，rollout 精度也使用一样的 FP4 base + BF16 adapter。

图 4 DeepSeek V4 Flash 在 Orbit 下单机 RL 后训练信号

图 5 DeepSeek V4 Flash 在 Orbit 下单机 RL 后训练的显存纪录

从了局看，DeepSeek V4 Flash 在 100 step 以上的 RL 过程中同样维持不变：reward、eval、pass@k 整体上升，train-rollout log-prob diff 维持在不变区间。这些趋向跟在 Kimi-K2.6 上的尝试了局类似。

单节点 1.6T DeepSeek V4 Pro 初步验证

除了 Kimi-K2.6 和 DeepSeek V4 Flash 两组不变有效的训练了局，Orbit 还在 DeepSeek V4 Pro 1.6T 上实现初步验证。

由于 DeepSeek V4 Pro base model 自身很强，尝试中用的 RL 训练数据不能让它涨点，因而该尝试更多是证明 Orbit 的系统蹊径能够扩大到更大的 1.6T 级 MoE 模型。

图 6 DeepSeek V4 Pro 在 Orbit 下单机 RL 后训练信号和显存纪录

在 1.6T DeepSeek V4 Pro 上，Orbit 实现了单节点 8×B200 的尝试，展示了不变的 train-rollout log-prob diff 和可控不变的 GPU 显存。

这组了局证明Orbit 的系统上限可在单节点 8×B200 达到 1.6T 级别，展示了其设计有机遇覆盖更大的 MoE 模型区间。

从单节点万亿模型，到单卡更大模型

单节点跑通万亿模型 RL 反过来也说了然同样的硬件预算就能够覆盖更大的模型区间。

对万亿模型来说，这意味着正本可能必要多机协同的 RL 后训练，能够被压缩到单节点实现。对中幼模型来说在 Orbit 的 adapter-first 框架下，单卡也有机遇 RL 微调从前必要多卡能力支持的模型，或者在一样模型规模下支持更长 response、更大 batch、更高 rollout throughput 和更频仍的更新。

因而，Orbit 的价值并不只在于「让大模型变得可训练」，也在于让幼模型的 RL 后训练变得更容易。

技术细节

Active-expert-chunked dequantization:对于 MoE 模型来说，每个词元只会激活部门 experts。Orbit 动态地将 router 选中的 experts 分组成固定大幼的 batch，一时反量化后执行 grouped GEMM，并在推算实现后开释高精度权重。这样既能利用 grouped matrix multiplication 的吞吐，又能将一时显存峰值限度在较幼 chunk 内，预防大规模低精度 MoE 训练中的 OOM。

Adapter-native async with double-buffered rollout:系统会为 adapter 守护版本号，并将新版本 adapter 流式写入 inactive slot

；当前 active slot 持续服务 in-flight 要求，待新版本筹备好后再原子切换。这样能够削减 rollout bubble。在 Qwen3-4B + OFT、8×B200、TP=2 设置下，该设计带来了 1.42 倍的单步功夫优化和 44% 更高的 rollout throughput，同时 eval accuracy 维持不变。

DeepSeek V4 有关优化：Orbit 支持 Full-CUDA graph decoding、DeepGEMM、DeepEP V2，并使用 tilelang / Triton / CUDA 实现高效 attention backward 和 fusion kernels。凭据 adapter 训练的特点，Orbit 还设计了 bypass-base-weight-grad 的高效 GEMM backward 算子，预防为冻结 base 推算不用要的梯度。

从前，大模型 RL 后训练往往意味着更复杂的多机系统：更多节点、更重的权重同步和更复杂的系统协同。

Orbit 提供了另一条蹊径：冻结低精度 base，只训 adapter，让训练、rollout 和部署对齐，并把整模同步换成 adapter 同步。这让万亿模型能够进入单节点训练区间，更幼模型也能在单卡或更有限的硬件上跑得更远。

从 Kimi-K2.6 到 DeepSeek V4 Flash，再到 DeepSeek V4 Pro 1.6T，Orbit 展示和提供了一套面向大模型后训练的高效框架。

本月钻研机构颁布新钻研成就全球初次单机征服万亿巨模DeepSeek-V4！RL后训练框架Orbit开源！

从数学、代码、复杂推理，到多轮工具挪用，大模型的好多能力的提升都离不开 RL 后训练。但当模型规模进入 MoE 万亿参数级别之后，RL 不再只是一个算法问题，同时越发是一个系统问题。

训练侧必要包容重大的模型权重、梯度和优化器状态

；rollout 侧必要持续天生样本，并维持足够高的吞吐

；reference policy 又会进一步放大显存和调度压力。同时，好多 RL 系统在训练时使用较高精度模型，而真正 rollout 或部署时使用低精度 serving 模型。这些精度差距，最终会体此刻部署成效与 RL 成效的不一致上。

通过将 base model 固定在部署时使用的低精度暗示，并只更新 adapter，Orbit 将 Kimi-K2.6、DeepSeek V4 级此外 1T 模型 RL 后训练压缩到单台 8×B200 上实现。同时，训练和 rollout 使用统一条低精度 base + adapter 蹊径，从系统层面解除了训练模型与 rollout / 部署模型之间的精度不一致。

Orbit 做到「让万亿模型进入单节点 RL 区间」这件事的意思在于：

预防了「训练精度」和「部署精度」不一致带来的误差，从而带来更不调换高效的 RL 后训练

；单节点 RL 能够显著降低多节点训练时的通讯时延与故障率

；在同样的 HBM 预算下，模型会获得更宽的训练空间，从前必要多卡能力训的模型，有机遇被压缩到单卡。

官方博客：https://spherelab.ai/orbit/Github：https://github.com/Sphere-AI-Lab/orbit

Orbit：支持万亿参数模型 RL 微调的高效框架

显存节造：如下图 1 所示的估算中，单节点 8×B200 的 HBM 预算约为 1536GB。对 1T 级模型而言，传统全参微调的 weight + grad 显存下界会远超单机预算

；而 Orbit 蹊径由于冻结低精度 base，只训练 adapter，能够把 1T 级模型的 RL 后训练放进单节点预算内。

图 1 分歧框架下大参数模型的单节点显存需要估算

训推精度对齐：在好多 RL 系统里，训练侧可能使用 BF16 或 FP8 等高精度 ，而推理侧使用 INT4、FP4 等低精度。对于监督微调来说，这种差距有时能够被视作推理优化的一部门

；但在 RL 中，policy log-prob 自身就是训练信号的一部门，训练侧和推理侧之间的误差 log-prob diff 会直接影响不变性。

Orbit 将这一问题前置到了系统设计中：训练和推理使用一样的低精度 base ，并在其上加载统一个 BF16 adapter，从而维持训推精度一致。

Adapter-first 的系统设计：Orbit 萦绕 adapter 对 RL 训练、推理、同步、reference policy 和低精度 MoE 做了一套整体设计。base 始终冻结，每次训练更新后，只必要将 MB 级 adapter （不需将 GB 级的 base）从训练引擎推送到推理引擎。这不仅削减了权重同步的体积，也预防了频仍重建推理引擎的开销。

单节点 Kimi-K2.6 了局

在这组尝试中，模型运行在单台 8×B200 上，训练精度为 INT4 base + BF16 adapter，rollout 精度使用一样的 INT4 base + BF16 adapter。也就是说，训练和 rollout 走的是统一条低精度 base + adapter 蹊径。

在约 200 step 的 RL 过程中，Orbit 观察到了几个同时成立的信号：

reward 上升

；eval accuracy 上升

；pass@k 上升

；train-rollout log-prob diff 维持不变。

图 2 Kimi-2.6 在 Orbit 下单机 RL 后训练信号

图 3 Kimi-2.6 在 Orbit 下单机 RL 后训练的显存纪录

图 2 显示，Kimi-K2.6 的 rollout raw reward、eval accuracy 和 pass@k 曲线随训练推动而不变上升。同时，train-rollout log-prob diff 不变维持在一个区间。

对于一个对 log-prob 差距极度敏感的训练范式来说，这些信号现实地证了然 Orbit 的 RL 后训练关环不仅在单机上把 1T 的模型上不变能跑，同时跑对了且在测试工作上有成果。

单节点 DeepSeek V4 Flash 了局

在这组尝试中，DeepSeek V4 Flash 同样运行在单台 8×B200 上。训练精度为 FP4 base + BF16 adapter，rollout 精度也使用一样的 FP4 base + BF16 adapter。

图 4 DeepSeek V4 Flash 在 Orbit 下单机 RL 后训练信号

图 5 DeepSeek V4 Flash 在 Orbit 下单机 RL 后训练的显存纪录

从了局看，DeepSeek V4 Flash 在 100 step 以上的 RL 过程中同样维持不变：reward、eval、pass@k 整体上升，train-rollout log-prob diff 维持在不变区间。这些趋向跟在 Kimi-K2.6 上的尝试了局类似。

单节点 1.6T DeepSeek V4 Pro 初步验证

除了 Kimi-K2.6 和 DeepSeek V4 Flash 两组不变有效的训练了局，Orbit 还在 DeepSeek V4 Pro 1.6T 上实现初步验证。

由于 DeepSeek V4 Pro base model 自身很强，尝试中用的 RL 训练数据不能让它涨点，因而该尝试更多是证明 Orbit 的系统蹊径能够扩大到更大的 1.6T 级 MoE 模型。

图 6 DeepSeek V4 Pro 在 Orbit 下单机 RL 后训练信号和显存纪录

在 1.6T DeepSeek V4 Pro 上，Orbit 实现了单节点 8×B200 的尝试，展示了不变的 train-rollout log-prob diff 和可控不变的 GPU 显存。

这组了局证明Orbit 的系统上限可在单节点 8×B200 达到 1.6T 级别，展示了其设计有机遇覆盖更大的 MoE 模型区间。

从单节点万亿模型，到单卡更大模型

单节点跑通万亿模型 RL 反过来也说了然同样的硬件预算就能够覆盖更大的模型区间。

对万亿模型来说，这意味着正本可能必要多机协同的 RL 后训练，能够被压缩到单节点实现。对中幼模型来说在 Orbit 的 adapter-first 框架下，单卡也有机遇 RL 微调从前必要多卡能力支持的模型，或者在一样模型规模下支持更长 response、更大 batch、更高 rollout throughput 和更频仍的更新。

因而，Orbit 的价值并不只在于「让大模型变得可训练」，也在于让幼模型的 RL 后训练变得更容易。

技术细节

Active-expert-chunked dequantization:对于 MoE 模型来说，每个词元只会激活部门 experts。Orbit 动态地将 router 选中的 experts 分组成固定大幼的 batch，一时反量化后执行 grouped GEMM，并在推算实现后开释高精度权重。这样既能利用 grouped matrix multiplication 的吞吐，又能将一时显存峰值限度在较幼 chunk 内，预防大规模低精度 MoE 训练中的 OOM。

Adapter-native async with double-buffered rollout:系统会为 adapter 守护版本号，并将新版本 adapter 流式写入 inactive slot

；当前 active slot 持续服务 in-flight 要求，待新版本筹备好后再原子切换。这样能够削减 rollout bubble。在 Qwen3-4B + OFT、8×B200、TP=2 设置下，该设计带来了 1.42 倍的单步功夫优化和 44% 更高的 rollout throughput，同时 eval accuracy 维持不变。

DeepSeek V4 有关优化：Orbit 支持 Full-CUDA graph decoding、DeepGEMM、DeepEP V2，并使用 tilelang / Triton / CUDA 实现高效 attention backward 和 fusion kernels。凭据 adapter 训练的特点，Orbit 还设计了 bypass-base-weight-grad 的高效 GEMM backward 算子，预防为冻结 base 推算不用要的梯度。

从前，大模型 RL 后训练往往意味着更复杂的多机系统：更多节点、更重的权重同步和更复杂的系统协同。

Orbit 提供了另一条蹊径：冻结低精度 base，只训 adapter，让训练、rollout 和部署对齐，并把整模同步换成 adapter 同步。这让万亿模型能够进入单节点训练区间，更幼模型也能在单卡或更有限的硬件上跑得更远。

从 Kimi-K2.6 到 DeepSeek V4 Flash，再到 DeepSeek V4 Pro 1.6T，Orbit 展示和提供了一套面向大模型后训练的高效框架。

田间地头，智慧管护正逐步扭转酿酒葡萄的传统种植模式。西鸽酒庄葡萄园全域布设物联网监测设备，实时采集泥土墒情、光照、温湿度等田间数据，实现全园精密化治理

；兽⒕谱涮姿室惶寤悄芟低，凭据葡萄长势精准灌溉施肥，有效削减资源损耗。宁夏农垦葡萄园依附卫星遥赣注无人机巡田，构建天空位一体化监测网络，提前预警霜冻、病虫害等灾害，大幅降低天然气象对葡萄品质的影响，一改以往依附经验管护的传统种植方式。

k8凯发天生赢家

习近平同塞尔维亚总统武契奇座谈