k8凯发天生赢家

起源:“两长”IPO背后:科技投行3种能

起源:“两长”IPO背后:科技投行3种能力作者: 钟佩璇:

NVIDIA、AMD还在堆料!一家幼公司用28nm+DDR4单卡跑7000亿大模型

快科技5月11日新闻 ,当英伟达、AMD还在不休堆高造程、堆砌HBM显存推出高端AI加快卡时 ,一家幼公司却用老旧技术走出了分支路线。

中国台湾企业Skymizer推出HTX301 PCIe AI加快器 ,选取28nm芯片搭配LPDDR4/LPDDR5内存 ,单卡即可运行7000亿参数大说话模型。

HTX301单张PCIe卡集成6颗自研芯片协同工作 ,总内存容量最高可达384GB ,整卡功耗仅为240W ,全程未使用行业主流的HBM或 GDDR显存规划。

该加快器基于Skymizer HyperThought平台打造 ,搭载专为大说话模型工作负载设计的下一代LPU IP核 ,主题优化方向为大模型推理效能。

通过对权重和KV缓存选取专属高效压缩技术 ,HTX301的推理机能比开源框架llama.cpp 提升9%至17.8% ,官方标称带宽可达100GB/s。

功耗对譬喻面 ,英伟达RTX PRO 6000 Blackwell 执行同类工作功耗约为600W ,AMD Instinct MI350P功耗同样远高于该产品 ,均达到HTX301的两倍以上。

HTX301选取尺度PCIe卡表形尺寸 ,可直接装置在通常风冷服务器中 ,无需对数据中心的电力和冷却系统进行任何刷新。

该规划同时解决了云端部署的两大主题痛点 ,既预防了数据上传带来的隐衷泄露风险 ,也实现了基础设施成本的可预测性。

目前HTX301所宣称的全数机能数据均来自Skymizer官方 ,尚未经第三方独立测试验证。

不外 ,Skymizer将于今年台北国际电脑展上初次提供实机演示 ,并盛开给独立第三方机构对其机能参数进行全面验证。

@蔡政诚:影音久久 ,金正恩:加强守卫朝南部边陲一线队列
@陈采勇:浙江广厦CBA总决赛能成功卫冕吗
@陈雅琪:民调:大无数美国人否决削减美中业务

热点排行

【网站地图】