k8凯发天生赢家

起源:4月饰物价值涨幅回落作者: 李俊宏

起源:4月饰物价值涨幅回落作者: 李俊宏:

算力下沉边缘 ,CDN公司发力“散布式推理网络”

21世纪经济报路记者 彭新

CDN(内容分发网络)厂商正试图把自己刷新成AI推理的承载者。

在今年的GTC期间 ,老牌CDN巨头Akamai与英伟达颁发 ,双方结合打造的“AI网格”(AI Grid)落地 ,将遍布全球超过4400个边缘节点的网络刷新为散布式AI推理平台 ,并在其中部署英伟达GPU。

“Akamai但愿可能借助从前20多年在全球堆集的散布式推算网络构建起一个全球最大的散布式及云安全的平台 ,同时进一步转型成为全球最大的散布式AI推理平台。”Akamai大中华区副总裁张轲通知21世纪经济报路记者。他暗示 ,这是Akamai将来一段功夫最大、也是最重要的转型。

算力向边缘下沉

驱动这场转向的 ,是行业对AI推理市场的预期。英伟达首创人兼CEO黄仁勋提出 ,AI推理的负载规模很快将达到训练负载的十亿倍。从市场趋向来看 ,随着AI算力需要的重心从模型训练转向推理 ,以及AI智能体利用发作 ,靠近用户的边缘网络正成为承载推理的关键一层 ,而这正是CDN厂商的看家能力。

CDN全称为Content Delivery Network ,即内容分发网络 ,重要通过在靠近用户的处所 ,搭建内容分发节点服务器 ,让用户在点击网站链接后 ,能够更急剧地获取网页上的视频、图片等内容。在CDN业务中 ,网速不仅关乎用户履历 ,还跟企业经营效能亲昵有关 ,因而CDN技术成为互联网经济的基础设施。

智能体利用的发作 ,带头AI推理需要激增。“此刻70%至80%的AI基础设施用于训练 ,30%用于推理 ,将来这个比例会回转 ,70%用于推理 ,30%用于训练。”遐想集团董事长兼CEO杨元庆在近期财报电话会中称。

在AI时期 ,集中式的“AI工厂” ,即少数大型数据中心 ,被认作难以单独满足实时、低时延的推理需要 ,算力必要下沉到离用户更近的处所 ,这一逻辑与CDN将媒体内容缓存到离用户最近的节点千篇一律。

“用户对AI推理的时延预期极度高 ,”Akamai亚太区云推算架构师总监李文涛称。他分析 ,从利用场景来看 ,在线游戏往往但愿在15毫秒内拿到首个Token ,电商约20毫秒 ,智能体自主服务约50毫秒 ,客服机械人约100毫秒。

目前 ,Akamai的全球网络已覆盖700多个城视注4400多个边缘节点 ,并正以此为底座推动GPU算力规;渴。李文涛暗示 ,Akamai提供的全球散布的推理云可满足AI时期对低时延推理的需要 ,其底层是英伟达GPU算力底座 ,其上是掌管大模型要求调杜纂安全的AI网关 ,以及散布式容器平台等。

其中真正承担“指挥”角色的是被称为AI Grid(AI网格)的编排层——这是一套感知工作负载的节造平面 ,可能凭据模型类型、时延指标及成本 ,自动在边缘、区域与主题多级算力之间选择最优层级。

Akamai称 ,其推理云是英伟达“AI网格”参考架构在全球的首个规;涞叵钅。这套架构正是英伟达面向电信运营商与散布式云厂商力推的蓝图 ,其设想是 ,借助这些公司遍布各地的网络 ,把基础设施刷新为可就近承载AI原生服务的散布式算力网。

通讯与算力网络重构

更深一层的变动将发生在通讯与算力网络底层。英伟达主张用GPU统一无线接入网的算力 ,让基站既能跑通讯、也能跑AI。在黄仁勋看来 ,“电信是至关重要的国度基础设施 ,是经济和安全的数字神经系统” ,正因如此 ,他把电信业称作AI的“下一个主战场” ,并大力推动AI网格架构。

“AI网格的主题竞争力重要在于让GPU算力触手可及 ,”李文涛称 ,通过智能编排 ,Akamai不仅仅是在卖算力 ,而是在治理一套遍布全球的算力网络。AI网格可能自动鉴别AI推理工作的需要 ,并且在毫秒级内实现在全球领域内的GPU最优算力调度 ,确保每一份AI算力都能精准地投递到必要它的用户身边。

将算力下沉至边缘后 ,按Akamai的说法 ,其节点与全球约95%的互联网用户之间仅有约10毫秒的时延;在推理场景下 ,相较集中式云规划 ,时延可降低约80%。

此表 ,企业能够通过把分歧负载自动匹配到相宜的算力层级来大幅压低推理成本 ,把贵重的高端算力用于真正必要的负载。该规划性质上是把CDN的“缓存复用”思路利用于AI推理 ,反复或语义相近的要求不用次次都跑一遍齐全的AI模型。

整体来看 ,无论海表还是本土 ,CDN厂商的转型蹊径高度一致:把多年沉淀的边缘网络与调度能力 ,建设为面向推理的算力底座。

在国内市场 ,CDN厂商网宿科技近年也打造出一个具备网络传输、智能算力和安全防护职能的一体化边缘AI推理平台 ,为企业提供从底层算力、AI模型部署到安全防护的一站式服务。

在AI推理领域 ,网宿利用其全球GPU算力池搭建了专属平台 ,内置主流开源大模型 ,还支吃祗业托管私有模型。其主题优势同样聚焦于低时延边缘推理。据网宿介绍 ,平台依附CDN边缘网络 ,将用户的操作要求自动调度至距离最近的节点进行本地推算 ,目前这套低延长边缘AI规划已在AI、传媒、家居以及医药等多个行业投入现实利用。

CDN厂商转向散布式推理 ,赛路切换看似顺理成章:它们手握离用户最近的边缘网络 ,又不像运营商那样背负“牵一发而动全身”的存量包袱。但随着云厂商、电信运营商等公司纷纷入局边缘推理 ,加大投入 ,赛路逐步拥挤 ,CDN厂商能否将网络优势真正转化为算力收入 ,仍待市场检验。

@方芸紫:百老汇电竞客户端app下载 ,曼联本赛季英超主场成就仅次于阿森纳
@李益绍:洪迪厄斯号奢华邮轮变殒命囚笼
@许儒美:《歌手2026》首发阵容

热点排行

【网站地图】