今日行业协会披露新进展世乒赛男团国乒1-3韩国 很欣喜为您解答这个问题，让我来助您具体注明一下。品牌授权报建电话，急剧上门服务

云南省玉溪市新平彝族傣族自治县湖北省恩施土家族苗族自治州建始县福建省眉山市梅列区鹿泉区白鹿泉乡武威市海城区甘肃省天水市秦州区四川省泸州市江阳区山西省晋中市灵石县平山县上观音堂乡甘肃省陇南市江西省遵义市武宁县广东省临沧市龙湖区山西省忻州市定襄县四川省甘孜藏族自治州泸定县洛阳市汝阳县平山县岗南镇河西区桃园街路福建省南充市升天县山东省鄂尔多斯市临淄区甘肃省白银市景泰县山西省临汾市安泽县山东省呼伦贝尔市台儿庄区赞皇县院头镇甘肃省甘南藏族自治州甘肃省兰州市陕西省宝鸡市眉县四川省德阳市广汉市江西省曲靖市奉新县广东省临沧市南澳县丰台区长辛店镇广东省丽江市江苏省南阳市新沂市喀什地域麦盖提县武清区汊沽港镇广东省丽江市元氏县殷村镇云南省文山壮族苗族自治州广南县山西省晋中市榆社县贵州省安顺市普定县阿克苏地域新和县福建省南充市城厢区福建省达州市建瓯市山西省晋中市榆社县海南省中卫市固原市西吉县山东省乌兰察布市龙口市张家界市龙子湖区青海省海西蒙古族藏族自治州德令哈市山东省鄂尔多斯市临淄区丰台区和义街路青秀区山西省朔州市山阴县山西省长治市襄垣县辽宁省沈阳市浑南区西城区月坛街路陕西省商洛市山阳县广东省临沧市南澳县福建省达州市陕西省汉中市西乡县湖北省宜昌市西陵区昌平区回龙观街路延庆区沈家营镇赵县沙河店镇广东省临沧市南澳县云南省西双版纳傣族自治州勐腊县岳阳市庐阳区焦作市中站区江苏省信阳市相城区桥西区留营街路四川省凉山彝族自治州甘洛县西城区月坛街路四川省凉山彝族自治州西昌市山西省吕梁市中阳县辽宁省锦州市义县武威市海城区濮阳市南乐县西城区月坛街路山西省晋中市榆社县广东省丽江市西藏山南市贡嘎县广东省临沧市龙湖区丰台区和义街路向阳区双井街路江苏省南阳市新沂市平凉市丰台区长辛店镇阿克苏地域拜城县江西省曲靖市宜丰县内蒙古乌海市乌达区南开区长虹街路鹿泉区寺家庄镇昌平区阳坊镇四川省宜宾市江安县云南省丽江市宁蒗彝族自治县昌平区延寿镇平凉市四川省宜宾市珙县元氏县殷村镇山东省洛阳市泰山区岳阳市庐阳区

本月行业汇报公开最新政策DeepSeek V4最大的遗憾，很欣喜为您解答这个问题，让我来助您具体注明一下:官方服务专线，支持多品牌报建

山东省乌兰察布市牟平区四川省宜宾市翠屏区平顶山市卫东区蓟州区东施古镇四川省成都市双流区黑龙江省鹤岗市甘肃省定西市渭源县辽宁省锦州市义县山东省焦作市茌平区桥西区留营街路常德市南陵县黑龙江省佳木斯市汤原县四川省凉山彝族自治州昭觉县向阳区酒仙桥街路广东省拉萨市三水区桥西区东华街路焦作市中站区赞皇县西龙门乡丰台区右安门街路广东省昭通市越秀区昌平区延寿镇平山县东回舍镇延庆区康庄镇山东省濮阳市陕西省宝鸡市眉县向阳区幼红门地域内蒙古鄂尔多斯市鄂托克旗江苏省周口市启东市平山县上观音堂乡岳阳市庐阳区山东省通辽市城阳区河东区东新街路山东省濮阳市湖北省恩施土家族苗族自治州建始县绵阳市利辛县向阳区幼关街路青秀区益阳市大通区密云区不老屯镇广东省山南市向阳区酒仙桥街路甘肃省白银市景泰县广东省西安市龙门县湖北省宜昌市夷陵区行唐县龙州镇银川市贺兰县西城区天桥街路江西省六盘水市上栗县无极县大陈镇塔城地域和布克赛尔蒙古自治县重庆市县巫山县福建省南充市城厢区山东省鄂尔多斯市临淄区江苏省周口市启东市福建省南充市升天县山西省忻州市定襄县怀柔区宝山镇张家界市蚌山区四川省宜宾市珙县湖北省恩施土家族苗族自治州建始县平山县东回舍镇山西省临汾市安泽县密云区古北口镇青海省果洛藏族自治州黑龙江省伊春市金林区延庆区沈家营镇武威市海城区山西省运城市夏县定西市田林县平山县东回舍镇喀什地域麦盖提县黑龙江省哈尔滨市巴彦县四川省甘孜藏族自治州西城区月坛街路山东省巴彦淖尔市垦利区江西省曲靖市奉新县山西省临汾市安泽县广东省普洱市斗门区元氏县黑龙江省佳木斯市汤原县绵阳市利辛县贵州省铜仁市印江土家族苗族自治县定西市靖西市内蒙古兴安盟乌兰浩特市固原市西吉县陕西省宝鸡市千阳县黑龙江省鹤岗市江西省遵义市武宁县山东省焦作市冠县福建省南充市城厢区辽宁省辽阳市白塔区云南省怒江傈僳族自治州福贡县吉林省四平市铁西区江西省贵阳市昌江区广东省普洱市斗门区辽宁省铁岭市清河区贵州省铜仁市印江土家族苗族自治县湖北省襄阳市襄州区蓟州区东二营镇山西省长治市襄垣县

全球服务区域:丰台区和义街路银川市贺兰县西城区月坛街路山西省朔州市山阴县山西省吕梁市岚县江西省曲靖市宜丰县定西市靖西市海南省固原市西沙区蓟州区东施古镇西乡塘区桥西区东华街路井陉县测鱼镇内蒙古呼伦贝尔市阿荣旗开封市通许县昌平区阳坊镇四川省宜宾市江安县福建省达州市向阳区双井街路黑龙江省大兴安岭地域呼玛县辽宁省大连市旅顺口区元氏县郴州市博望区密云区河南寨镇内蒙古兴安盟乌兰浩特市北辰区广源街路焦作市辽宁省大连市旅顺口区怀柔区龙山街路向阳区酒仙桥街路湖北省恩施土家族苗族自治州恩施市海南省固原市西沙区江西省曲靖市宜丰县江西省昆明市昆明县江西省贵阳市昌江区丰台区宛平城地域开封市通许县山东省洛阳市泰山区吉林省白山市浑江区四川省泸州市江阳区黑龙江省佳木斯市富锦市山西省临汾市安泽县云南省普洱市景东彝族自治县四川省德阳市广汉市南开区长虹街路四川省成都市金牛区四川省宜宾市珙县元氏县苏村乡贵州省铜仁市印江土家族苗族自治县四川省泸州市江阳区陕西省西安市未央区河东区大直沽街路甘肃省兰州市张家界市蚌山区西城区月坛街路元氏县苏村乡白银市兴安县四川省成都市新都区丰台区和义街路青海省海北藏族自治州门源回族自治县山西省吕梁市岚县贵州省安顺市普定县吉林省长春市双阳区内蒙古鄂尔多斯市康巴什区广东省拉萨市三水区濮阳市南乐县密云区河南寨镇焦作市中站区武威市海城区江苏省南阳市丰县江苏省宜昌市句容市甘肃省甘南藏族自治州洛阳市汝阳县甘肃省陇南市贵州省黔南布依族苗族自治州惠水县和平区南市街路鹿泉区白鹿泉乡银川市宁明县白银市兴安县黑龙江省七台河市桃山区四川省宜宾市翠屏区山西省晋中市灵石县云南省怒江傈僳族自治州福贡县向阳区酒仙桥街路云南省丽江市宁蒗彝族自治县辽宁省本溪市溪湖区广东省山南市四川省成都市新都区平山县幼觉镇福建省达州市建瓯市甘肃省兰州市鹿泉区白鹿泉乡长安区广安街路焦作市中站区云南省大理白族自治州云龙县福建省内江市永泰县江苏省信阳市相城区山西省长治市襄垣县辽宁省辽阳市白塔区平顶山市湛河区哈密市伊吾县

本周钻研机构披露行业动态DeepSeek V4最大的遗憾，很欣喜为您解答这个问题，让我来助您具体注明一下:售后服务维建中心电话，支持多渠路服务

全国服务区域：白银市兴安县丰台区和义街路辽宁省向阳市北票市巴音郭楞蒙古自治州和硕县山西省晋城市泽州县湖北省襄阳市襄州区青海省玉树藏族自治州治多县湖北省宜昌市西陵区吉林省白山市浑江区向阳区幼红门地域白银市秀峰区江苏省南阳市海淀区青龙桥街路辽宁省铁岭市清河区密云区河南寨镇广东省昭通市越秀区山西省晋中市榆社县内蒙古锡林郭勒盟镶黄旗青海省果洛藏族自治州福建省达州市建瓯市向阳区豆各庄地域静海区大邱庄镇定西市田林县甘肃省陇南市密云区古北口镇福建省乐山市湖里区湖北省宜昌市秭归县山西省吕梁市中阳县向阳区幼红门地域江苏省南阳市赵县沙河店镇四川省成都市金牛区山西省吕梁市岚县吉林省白山市浑江区福建省乐山市海沧区岳阳市瑶海区静海区大邱庄镇云南省玉溪市新平彝族傣族自治县黑龙江省鸡西市鸡冠区内蒙古鄂尔多斯市康巴什区江西省曲靖市奉新县江苏省漯河市浦口区辽宁省向阳市北票市蓟州区官庄镇吉林省长春市双阳区江苏省宜昌市句容市丰台区长辛店镇井陉县吴家窑乡西藏阿里地域日土县无极县大陈镇青秀区甘肃省庆阳市镇原县井陉县吴家窑乡四川省泸州市江阳区山西省晋中市太谷区江西省遵义市武宁县平山县上观音堂乡山东省平顶山市江苏省宜昌市句容市黑龙江省鸡西市鸡冠区内蒙古鄂尔多斯市康巴什区江苏省周口市启东市山东省巴彦淖尔市垦利区云南省丽江市宁蒗彝族自治县哈密市伊吾县山西省运城市夏县开封市通许县云南省红河哈尼族彝族自治州泸西县平凉市江西省铜仁市石城县江苏省宜昌市句容市湖北省宜昌市西陵区鹿泉区白鹿泉乡福建省南充市升天县顺义区空港街路江苏省漯河市浦口区巴音郭楞蒙古自治州和硕县河西区桃园街路哈密市伊吾县辽宁省沈阳市浑南区密云区古北口镇平山县宅北乡四川省甘孜藏族自治州九龙县南阳市内乡县新乐市协神乡武清区汊沽港镇黑龙江省佳木斯市汤原县元氏县殷村镇广东省兰州市新兴县江西省曲靖市宜丰县重庆市市辖区北碚区陕西省汉中市留坝县昌平区回龙观街路和田地域山东省郑州市青州市山东省洛阳市东平县西藏山南市贡嘎县海南省中卫市广东省临沧市南澳县岳阳市庐阳区

售后服务上门服务电话，智能分配单据：DeepSeek V4最大的遗憾

henry 发自 凹非寺量子位 | 公家号 QbitAI

DeepSeekV4的技术汇报里有mHC，有CSA，有HCA，有Muon，有FP4……

唯独没有Engram。

Engram去哪了？

这个话题一度成为网友们会商的热点。

Engram在今年1月由DeepSeek和北大结合开源，重要钻研大模型的影象与效能问题。

自挂上arXiv的那一刻起，圈子里萦绕它的探求就没有终场过…

不仅仅由于它是V4的前奏，而是有了Engram，「伦敦是英国首都」这种事实，模型不用动用整个深层网络去重新推一遍，直接查就行。

不仅省显存，还能开释深层网络容量，用于更高阶的推理。

正因如此，自1月初论文颁发以来，所有人都感触，Engram就是V4的架构地基，所有人都在盼。

以至于V4颁发后，各人第一功夫就是command+f去论文里找Engram，惋惜并没有。

以至于不少网友甚至感触，没有Engram，V4就是不齐全的。

没有Engram，可能是DeepSeekV4最大的遗憾。

不外，Engram并没有隐没。随后三篇值妥贴心的论文接力出现：

CXL内存池化版本：把Engram放进多机共享的CXL内存池，解决大模型多机部署的存储问题。无矛盾热层尝试：对Engram的多头哈希优化进行了实证检验，证伪了一些直觉式改进规划。视觉Tiny Engram：AutoArk团队把文本Engram搬到视觉模态，扩大了它的利用天堑。

所以，固然V4没有Engram，但它的理想、索求和后续利用已经悄然铺开，为下一代模型打下基础。

Engram到底是什么

把功夫倒回2026年1月12日。

那一天，DeepSeek结合北大放出了一篇33页的论文《ConditionalMemoryviaScalableLookup》。第一作者ChengXin，北大博士生，已经署名过V3。最后一位作者，梁文锋。

先来一句话速通版，Engram是给Transformer加的一个原生知识查表？。能查的别算，先查一下。

团队的主题观察是，说话建模其实蕴含两种性质齐全分歧的工作，一种是必要深度动态推算的组合推理，另一种是检索静态知识。

之前的问题在于，Transformer把这两件事混在一路做。模型鉴别一个实体时，得亏损好几层把稳力和前馈网络逐层拼凑特点。

论文里举了个例子，「Diana，Princess of Wales」。模型要走6层能力把这个鉴别完。

前几层还在纠结「Wales是英国的一个地域」、「Princess of Wales是某种头衔」这些中央状态，最后一层才反映过来这是戴安娜王妃。

这种「用昂贵的运行时推算重建一个静态查找表」的活，正本能够让深层网络去干更高阶的推理。

对此，Engram的思路相当直接，既然经典的N-gram模型就能用O(1)的功夫复杂度捕获这些部门依赖，那索性把这能力直接嵌进Transformer。

打个譬喻，就像你做数学题，该用的公式不用每次重新推一遍，翻表代进去就行。Transformer之前没这张表，只能每路题都从正义走起。Engram蹬宗把这张表交到模型手里。

具体做法是，在Transformer的第2层和第15层之间各插入一个Engram？。

每个地位的输入会触发一次哈希查找，把当前token和前面几个token组成的N-gram映射到一个巨大的嵌入内外，直接取出对应的向量。

门控机造保障查到的内容跟当前高低文不匹配时自动屏蔽。好比「张」是个常见姓氏，但「张仲景」三个字凑一路就是固定汗青人物实体了，门控就掌管认出这种区别。

Engram的定位是MoE之表的另一条稀少轴。MoE是把推算稀少化，只激活一部门专家。Engram是把存储稀少化，只查一部门条款。两者互补，不矛盾。

论文最主题的一段尝试，是固定总参数和每token激活参数，而后让MoE专家和Engram影象抢预算，得到一条U形曲线。

纯MoE不是最优解。把约莫20%-25%的稀少参数分给Engram，模型loss达到最低点。

按这个曲线领导，团队把Engram扩到27B验证。激活参数3.8B，训练262B tokens，严格跟MoE-27B基线对齐。

了局知始集型工作的提升切合预期(MMLU +3.4，CMMLU +4.0)，但通用推理和代码数学的提升超出预期(BBH +5.0，ARC-Challenge +3.7，HumanEval +3.0，MATH +2.4)，长高低文场景更夸大，Multi-Query NIAH从84.2%跃升到97.0%。

那么，为什么影象？榛鼓芊垂刺嵘评?

LogitLens和CKA给出了答案，Engram-27B第5层的表征，跟MoE基线第12层的表征最类似。

Engram把模型的早期层从「重建静态知识」这种苦力活里解放出来，这部门网络深度被腾出来做更复杂的推理。Engram不是新增了一块影象，它还变相把网络加深了。

工程上。论文把一个1000亿参数的Engram表整个甩到host DRAM，在H800上跑推理，8B-Dense的吞吐损失只有2.8%。

靠的是Engram索引简直定性，只取决于输入token序列，齐全能够提前算，CPU异步预取跟GPU推算重叠。

能够说，这个？樘焐筒豢縃BM，只能惜如今V4来了，Engram没来。

没在v4，但在其他处所

发现者把它放在那里没动，但路上还是有人。三个月里，至少出现了三个值得说一下的工作。

把Engram塞进CXL内存池

3月10日，北大、阿里云、山东英信、人大、港大结合发了一篇系统论文，《Pooling Engram Conditional Memory in Large Language Models using CXL》。

他们没改Engram自身，而是回覆了一个更工程的问题，若是Engram真的成了下一代标配，内存放哪。

答案是CXL内存池化。GPU HBM放推算权重，本地DRAM做二级缓存，CXL池做三级。8台服务器共享4TB内存池，XConn XC50256互换芯片做拓扑，512GB/s带宽。

整套集成进SGLang，做了预取-推算重叠，跑下来端到端吞吐损失幼于5%。Engram论文里那句「1000亿嵌入表卸载DRAM」的轻描淡写，被他们做成了27B和40B两个规模的真实测试。

结论很明显，Engram这种确定性寻址、可预取的负载，险些是为CXL量身定做的。

一个反直觉的尝试

Engram论文上线第十一天，1月23日，一个叫TaoLin的钻研者，单作者，放出了《A Collision-FreeHot-Tier Extension for Engram-Style Conditional Memory》。

他想验证一个看上去显然的优化，Engram用多头哈希查表会有矛盾，若是把高频N-gram用Minimal Perfect Hash Function齐全解除矛盾，模型会不会更好。

他设计了Engram-Nine，把影象分成无矛盾的「热层」和保留多头哈希的「冷层」。

了局反直觉。在严格iso-parameter节造下，无矛盾设计没有不变提升验证loss。

route-stratified评估还发现，训练初期热蹊径(高频)loss更低，但训练后期冷蹊径反过来超过热蹊径。

一个看上去显然的优化方向，被一个真做尝试的人证伪了。

把Engram推到视觉(AutoArk/TinyEngram)

GitHub上一个叫AutoArk的团队搞了Tiny Engram。

基于Qwen-3齐全复现文本Engram之后，他们做了一件论文里没做的事，把Engram搬到Stable Diffusion上。

视觉patch经过度层编码，底层抓纹理，中层抓部件，高层抓风格，而后整套丢进哈希查表。

跟LoRA比下来，达到一致成效，Engram必要的额表参数只有LoRA的15%到30%。陆续注入多个新概想时，LoRA会出现显著的概想退化，Engram不会。

Engram正本是为文本设计的。AutoArk蹬宗把这扇门撞开了，凡是能离散化、能哈希的模态，Engram都能搬。

三个月里，Engram这条路上，发现者最寡言，跟进者各自走了一步。

一个团队替它解决多机内存层级，一个独立钻研者证伪了它一个看似显然的优化方向，一个开源团队把它推到了视觉。

而deepseek-ai/Engram这个仓库，最后一次提交还停在1月14日。

One more thing

Engram论文的提要结尾有一句话：

我们以为前提影象将是下一代稀少模型不成或缺的建模原语。

看来，这个下一代得是V5了，难不成会是V4.1?

[1]https://arxiv.org/pdf/2601.07372

[2]https://arxiv.org/pdf/2603.10087

[3]https://arxiv.org/pdf/2601.16531

今日官方传递行业变动DeepSeek V4最大的遗憾

henry 发自 凹非寺量子位 | 公家号 QbitAI

DeepSeekV4的技术汇报里有mHC，有CSA，有HCA，有Muon，有FP4……

唯独没有Engram。

Engram去哪了？

这个话题一度成为网友们会商的热点。

Engram在今年1月由DeepSeek和北大结合开源，重要钻研大模型的影象与效能问题。

自挂上arXiv的那一刻起，圈子里萦绕它的探求就没有终场过…

不仅仅由于它是V4的前奏，而是有了Engram，「伦敦是英国首都」这种事实，模型不用动用整个深层网络去重新推一遍，直接查就行。

不仅省显存，还能开释深层网络容量，用于更高阶的推理。

正因如此，自1月初论文颁发以来，所有人都感触，Engram就是V4的架构地基，所有人都在盼。

以至于V4颁发后，各人第一功夫就是command+f去论文里找Engram，惋惜并没有。

以至于不少网友甚至感触，没有Engram，V4就是不齐全的。

没有Engram，可能是DeepSeekV4最大的遗憾。

不外，Engram并没有隐没。随后三篇值妥贴心的论文接力出现：

CXL内存池化版本：把Engram放进多机共享的CXL内存池，解决大模型多机部署的存储问题。无矛盾热层尝试：对Engram的多头哈希优化进行了实证检验，证伪了一些直觉式改进规划。视觉Tiny Engram：AutoArk团队把文本Engram搬到视觉模态，扩大了它的利用天堑。

所以，固然V4没有Engram，但它的理想、索求和后续利用已经悄然铺开，为下一代模型打下基础。

Engram到底是什么

把功夫倒回2026年1月12日。

那一天，DeepSeek结合北大放出了一篇33页的论文《ConditionalMemoryviaScalableLookup》。第一作者ChengXin，北大博士生，已经署名过V3。最后一位作者，梁文锋。

先来一句话速通版，Engram是给Transformer加的一个原生知识查表？。能查的别算，先查一下。

团队的主题观察是，说话建模其实蕴含两种性质齐全分歧的工作，一种是必要深度动态推算的组合推理，另一种是检索静态知识。

之前的问题在于，Transformer把这两件事混在一路做。模型鉴别一个实体时，得亏损好几层把稳力和前馈网络逐层拼凑特点。

论文里举了个例子，「Diana，Princess of Wales」。模型要走6层能力把这个鉴别完。

前几层还在纠结「Wales是英国的一个地域」、「Princess of Wales是某种头衔」这些中央状态，最后一层才反映过来这是戴安娜王妃。

这种「用昂贵的运行时推算重建一个静态查找表」的活，正本能够让深层网络去干更高阶的推理。

对此，Engram的思路相当直接，既然经典的N-gram模型就能用O(1)的功夫复杂度捕获这些部门依赖，那索性把这能力直接嵌进Transformer。

打个譬喻，就像你做数学题，该用的公式不用每次重新推一遍，翻表代进去就行。Transformer之前没这张表，只能每路题都从正义走起。Engram蹬宗把这张表交到模型手里。

具体做法是，在Transformer的第2层和第15层之间各插入一个Engram？。

每个地位的输入会触发一次哈希查找，把当前token和前面几个token组成的N-gram映射到一个巨大的嵌入内外，直接取出对应的向量。

门控机造保障查到的内容跟当前高低文不匹配时自动屏蔽。好比「张」是个常见姓氏，但「张仲景」三个字凑一路就是固定汗青人物实体了，门控就掌管认出这种区别。

Engram的定位是MoE之表的另一条稀少轴。MoE是把推算稀少化，只激活一部门专家。Engram是把存储稀少化，只查一部门条款。两者互补，不矛盾。

论文最主题的一段尝试，是固定总参数和每token激活参数，而后让MoE专家和Engram影象抢预算，得到一条U形曲线。

纯MoE不是最优解。把约莫20%-25%的稀少参数分给Engram，模型loss达到最低点。

按这个曲线领导，团队把Engram扩到27B验证。激活参数3.8B，训练262B tokens，严格跟MoE-27B基线对齐。

了局知始集型工作的提升切合预期(MMLU +3.4，CMMLU +4.0)，但通用推理和代码数学的提升超出预期(BBH +5.0，ARC-Challenge +3.7，HumanEval +3.0，MATH +2.4)，长高低文场景更夸大，Multi-Query NIAH从84.2%跃升到97.0%。

那么，为什么影象？榛鼓芊垂刺嵘评?

LogitLens和CKA给出了答案，Engram-27B第5层的表征，跟MoE基线第12层的表征最类似。

Engram把模型的早期层从「重建静态知识」这种苦力活里解放出来，这部门网络深度被腾出来做更复杂的推理。Engram不是新增了一块影象，它还变相把网络加深了。

工程上。论文把一个1000亿参数的Engram表整个甩到host DRAM，在H800上跑推理，8B-Dense的吞吐损失只有2.8%。

靠的是Engram索引简直定性，只取决于输入token序列，齐全能够提前算，CPU异步预取跟GPU推算重叠。

能够说，这个？樘焐筒豢縃BM，只能惜如今V4来了，Engram没来。

没在v4，但在其他处所

发现者把它放在那里没动，但路上还是有人。三个月里，至少出现了三个值得说一下的工作。

把Engram塞进CXL内存池

3月10日，北大、阿里云、山东英信、人大、港大结合发了一篇系统论文，《Pooling Engram Conditional Memory in Large Language Models using CXL》。

他们没改Engram自身，而是回覆了一个更工程的问题，若是Engram真的成了下一代标配，内存放哪。

答案是CXL内存池化。GPU HBM放推算权重，本地DRAM做二级缓存，CXL池做三级。8台服务器共享4TB内存池，XConn XC50256互换芯片做拓扑，512GB/s带宽。

整套集成进SGLang，做了预取-推算重叠，跑下来端到端吞吐损失幼于5%。Engram论文里那句「1000亿嵌入表卸载DRAM」的轻描淡写，被他们做成了27B和40B两个规模的真实测试。

结论很明显，Engram这种确定性寻址、可预取的负载，险些是为CXL量身定做的。

一个反直觉的尝试

Engram论文上线第十一天，1月23日，一个叫TaoLin的钻研者，单作者，放出了《A Collision-FreeHot-Tier Extension for Engram-Style Conditional Memory》。

他想验证一个看上去显然的优化，Engram用多头哈希查表会有矛盾，若是把高频N-gram用Minimal Perfect Hash Function齐全解除矛盾，模型会不会更好。

他设计了Engram-Nine，把影象分成无矛盾的「热层」和保留多头哈希的「冷层」。

了局反直觉。在严格iso-parameter节造下，无矛盾设计没有不变提升验证loss。

route-stratified评估还发现，训练初期热蹊径(高频)loss更低，但训练后期冷蹊径反过来超过热蹊径。

一个看上去显然的优化方向，被一个真做尝试的人证伪了。

把Engram推到视觉(AutoArk/TinyEngram)

GitHub上一个叫AutoArk的团队搞了Tiny Engram。

基于Qwen-3齐全复现文本Engram之后，他们做了一件论文里没做的事，把Engram搬到Stable Diffusion上。

视觉patch经过度层编码，底层抓纹理，中层抓部件，高层抓风格，而后整套丢进哈希查表。

跟LoRA比下来，达到一致成效，Engram必要的额表参数只有LoRA的15%到30%。陆续注入多个新概想时，LoRA会出现显著的概想退化，Engram不会。

Engram正本是为文本设计的。AutoArk蹬宗把这扇门撞开了，凡是能离散化、能哈希的模态，Engram都能搬。

三个月里，Engram这条路上，发现者最寡言，跟进者各自走了一步。

一个团队替它解决多机内存层级，一个独立钻研者证伪了它一个看似显然的优化方向，一个开源团队把它推到了视觉。

而deepseek-ai/Engram这个仓库，最后一次提交还停在1月14日。

One more thing

Engram论文的提要结尾有一句话：

我们以为前提影象将是下一代稀少模型不成或缺的建模原语。

看来，这个下一代得是V5了，难不成会是V4.1?

[1]https://arxiv.org/pdf/2601.07372

[2]https://arxiv.org/pdf/2603.10087

[3]https://arxiv.org/pdf/2601.16531

· 火疖子软软的、有一包脓，但没有天然排出来；

k8凯发天生赢家

世乒赛男团国乒1-3韩国