起源：《歌手》首期排名遭质疑作者： 张祥蕙：

Mind Lab陆续颁布LoRA最新进展，大模型「持续进建」新范式浮现

机械之心颁布

最近，前沿尝试室 Mind Lab 密集颁布了一系列关于 LoRA 与 PEFT（高效微调）的钻研了局，似乎描述出了另一条大模型「持续进建」的蹊径。

在 Mind Lab 的视角中，PEFT 不再是对大模型全参数后训练的一种廉价平替，更是实现从 “基础模型” 向 “可持续进建智能体” 过渡的主题架构机造。

链接：https://x.com/HuggingPapers/status/2054431768779067542?s=20

通过构建一条齐全的技术链路，涵盖影象架构（δ-mem）、底层基础设施（MinT）、扩大定律（Scaling of PEFT）以及天生式 UI 利用（Macaron-A2UI），Mind Lab 在描述一个巨大的愿景：让极少数壮大的万亿参数基础模型，支持起数以百万计的、具备独立影象和技术的可持续进建智能体。

基于 LoRA 的线性把稳力架构：δ-mem 在线影象机造

传统 Transformer 的 KV cache 只是推理过程中的冻结缓存，纪录的是当前高低文的中央状态，自身不会随着交互持续进建。为了让智能体占有可更新的持续影象，Mind Lab 针对 LoRA 的个性提出了创新的平行混合线性把稳力架构 δ-mem。

正如多家媒体报路的那样：仅仅使用一个 8×8 的在线影象状态（参数增长低至 0.12%），δ-mem 就能让模型在 Memory Agent Bench 和 LoCoMo 等重度影象基准测试中获得高达 1.31 倍和 1.20 倍的机能提升。即便移除了显式的汗青高低文，它依然能复原出大量有关信息。

链接：https://venturebeat.com/orchestration/a-0-12-parameter-add-on-gives-ai-agents-the-working-memory-rag-cant?utm_source=devbytes&utm_medium=androidapp&utm_campaign=fullarticle

与传统依缆珐展高低文窗口或表部文本检索的工程方式分歧，δ-mem 深刻到参数层进行优化，将冻结的全把稳力主干网络与一个紧凑的在线关联影象状态（Online State of Associative Memory）结合起来。

一名 reddit 网友在论文颁布之后急剧将 δ-mem 集成到自己的幼龙虾中，获得了 agent 在影象阐发上的提升：

链接：https://www.reddit.com/r/LocalLLaMA/comments/1tf68yo/i_fitted_the_new_% CE% B4mem_research_for_apple_silicon/

δ-mem 会随着 Token 的输入，利用增量规定（delta-rule learning）持续更新一个固定大幼的矩阵。在天生时，系统会从该状态中读守信号，对主干网络的 Attention Query 和 Output 施加低秩校对（low-rank corrections）。

X 网友 Dan 赞叹路：这就是 continual learning 的将来！

链接：https://x.com/daniel_mac8/status/2055740325822333419?s=20

LoRA Infra：百万级 LLM 的训练与服务基建 (MinT)

基于模型持续进建所打造的 agent 产品必要新的基础设施，Mind Lab 给出了他们的答案 MinT。

什么是 MinT， 我们能够先看 X 网友 Awais 的解读。

起源：https://x.com/drawais_ai/status/2056301110906757464?s=20

单一来讲：MinT 是一个专为 LoRA 训练和在线服务打造的托管基础设施系统。

在 δ-mem 中提到，分歧的人、分歧的方式使用 agent，将会形成分歧的影象状态，LoRA 也同理，治理 LoRA 并非治理单个模型，是治理一大群模型的变体。

每个 LoRA 都有自己的版本、自己的训练曲线、自己的回滚点、更重要的是这个 LoRA 可能在被某个用户使用着。支持模型后训练在真实场景中持续进建这件事要成立，必须有一套基础设施可能治理这么多风格各别的 LoRA。

MinT 把基础模型持久保留在训练和推理服务中。一步训练实现后，系统导出的不是齐全模型，而是一份很幼的 LoRA Adapter。评估、上线和回滚时，MinT 也只移动和加载这份 adapter。

这样，上线一个新战术不必要把 LoRA 归并进齐全模型，也不必要重新加载一份齐全模型。系统只把新的 adapter 接到一时时驻的基础模型上。Adapter 的文件大幼通常不到基础模型的 1%（在 rank-1 配置下可降到约 0.1%）。在现实丈量中，从训练实现到推理服务可用的交代功夫，最多可缩短 18.3 倍。

MinT 将悠久化的战术目录（或者说海量 LoRA 集）与 CPU/GPU 的热工作集分离，支持 以上级此外战术寻址。针对冷启动加载的瓶颈，MinT 通过打包 MoE LoRA 张量，去除了大量幼对象的读写风暴，使引擎的实时加载速度提升了 8.5 至 8.7 倍。

Packing 解决的是单次冷加载问题
；为解除新增 LoRA 的冷加载对在线流量的滋扰，MinT 进一步引入二阶段 rollout：先在 admission 节造下实现预热，使 LoRA 仅在就绪后才对用户流量可见。在混合负载测试下，该机造将用户可见的 LoRA 加载 p95 降至 0、首要求 TTFT p95 缩短 2.3 倍。

LoRA 的三大扩大轴：On the Scaling of PEFT

起源：https://x.com/HuggingPapers/status/2056021071862575448?s=20

Mind Lab 还颁布了关于 LoRA 的钻研论文 On the Scaling of PEFT，针对于 base model 可能 serve 百万个 LoRA 模型的可行性提出了三大基于 LoRA 的扩大轴：

第一个扩大轴：Scale up

壮大的基础模型能让微幼的更新产生巨大的杠杆效应。直觉上更大参数可能让模型占有更强的能力，在基础上训练的 LoRA 也会有更强的阐发。

1T 规模的稀少 MoE 上进行 LoRA 强化进建并非容易之事，由于 MoE 在训练和推理过程中专家的激活蹊径分歧会产生严重的训推不一致的景象。在 scale up 的过程中，Mind Lab 发现了现有路由重放（Router Replay）机造在前沿 MoE 模型上失效原因并提出相应建改以解除训练和推理的差距。

第二个扩大轴：Scale down

LoRA rank 决定 RL 适配的表白能力强弱。业界通常把 rank 设在 16–32，以求更稳的训练和推理。但要同时服务上百万模型，rank 还得持续压到 16 以下，并且机能不能掉。

得益于 MinT adapter 的架构，Mind Lab 通过了一种原生于 RL 的初始化步骤OLoRA-tail。将 LoRA scale down 到了极致。该步骤利用预训练权重的次要奇怪向量（minor singular vectors）进行初始化，并移除了可能导致强化进建不不变的奇怪值缩放因子，在不增长参数量的前提下，大幅提升了 Rank-1 适配器的不变性与机能。

第三个扩大轴：Scale out

MinT 让上百个 LoRA adapter 同时在线，"模型数量" 成了可控的 scaling 变量。

模型的多样性从何而来？与 δ-mem 一脉相承，Mind Lab 提出了 LoRA as Memory 的概想并证明 LoRA 容量约 tokens/param，是一种有限介质，应留给 skill、persona 等悠久行为状态而非可编纂事实，以适应底座模型散布表的工作
；这种持续进建由 Context Learning 实现，让分歧的 adapter 沿分歧蹊径分化。

近期美团、阿里的钻研也指向统一方向，LoRA RL 内化的技术可能作难题工作奠定认知基础，阐发显著优于 skill 或 context，且 LoRA 能以极少参数高效装下结构化事实，形成差距化的不变模型。

这种差距在聚应时被兑现， 无数投票下正确率随模型数量 k 出现出经验上的对数增长定律（）。这也是在三个扩大轴上涌现出来的、基于模型数量的 scaling law。

Macaron-A2UI：走向天生式 UI 的智能交互

不只是理论，Mind Lab 也试验性地颁布了一个基于 MinT 训练出来的模型Macaron-A2UI

他们自己的描述是：纯文本对话在处置复杂的用户工作时存在认知负荷高、流程繁琐的瓶颈。为此，Mind Lab 基于 MinT 训练了凭据用户专属习惯持续进建的天生式 UI 模型 Macaron-A2UI。

模型不仅仅输出文本，还能在实时交互中天生结构化的 A2UI 可执行作为（如多选框、滑块、确认卡片等）。

Macaron-A2UI 的训练过程也是诩蚁缢 Mind Lab 上面的一系列理论：在 30B，235B 和 754B 的大说话模型底座上，基于 MinT 平台，团队先使用基于 LoRA 的 SFT（监督微调）成立文本到 UI 的对齐，随后使用 GRPO 强化进建提升可执行交互的质量。

在极其轻量级的 Schema 提醒下，阐发最好的 Macaron-A2UI-Venti 模型在 A2UI-Bench 上斩获了 75.6 的综合高分，甚至超过了输入了齐全冗长 Schema（长度约为 27 倍） 提醒的最强前沿模型基线。这证了然复杂的 UI 天生能力齐全能够通过高效微调被内化到模型权重中。

从如今通用模型的痛点启程，Mind Lab 打造了可能在线持续进建的 δ-mem、面向百万 LoRA 模型的训推基础设施 MinT 以及 LoRA Scaling Law 理论。从最新颁布的 A2UI 模型，到一贯对峙的持续进建钻研方向，Mind Lab 再次展示了从利用、系统到理论的钻研纵深。

据悉，Mind Lab 的所属公司是 Mindverse（心洲科技）。这家中国原生的 Neo Lab 跑通了一条低成本高收益的持续进建之路，正如其论文所描述的那样，将来的 AI 架构或许正是如此：少数几个壮大的万亿参数基础模型，支持起数百万个参数量极幼但拥有独立个性、影象和 UI 交互能力的可持续进建智能体。