聚焦电子元器件与半导体行业前沿动态,洞察市场趋势与技术发展

技术分享

单卡HBM只增3%:AI内存转向分层,采购要换盯的料号

发布时间:2026-11-06 作者:辰芯伟业 来源:行业公开信息 阅读:0
HBMNVFP4企业级SSDLPDDR5XAI内存
英伟达11月5日发布技术博客,讲AI内存的全栈协同设计:从GB300到Vera Rubin,每GPU的HBM容量只增约3%,每美元智能体吞吐量却最高提升30倍。省下来的显存靠4位精度、72卡摊分和上下文落盘。增量正从HBM单层转向LPDDR、企业级SSD和共享存储。

英伟达11月5日在官方博客发布技术解读,讲AI内存的全栈协同设计。两个数字最扎眼:从GB300到Vera Rubin,每颗GPU的HBM容量只增约3%,每美元智能体吞吐量最高提升30倍。

容量停在288GB,卡住的是带宽

官方把HBM比作仓库、带宽比作装卸口。仓库再大,装卸口满了,多装的货也搬不出来,还要多付成本和电费,这就是内存墙。博客的数据更直白:GB300到Rubin,HBM容量都保持288GB,带宽提到19.2TB/s。容量几乎没动,性能账全记在带宽和效率上。

省下来的显存,去了这三层

第一条是压缩。NVFP4用4位元件加两级缩放,16个值的小块共用一个FP8系数,权重占用比FP16少3.5倍、比FP8少1.8倍。第二条是摊分,NVL72域内权重可分散到最多72颗GPU。第三条是分层:Vera CPU的大容量LPDDR给暂停的上下文做缓冲,不活跃上下文由Dynamo迁到CMX上下文存储,RAG索引留在CPU与存储侧。

增量换了层,不是消失了

这条路线不等于存储不紧张。原厂口径明确:HBM供应趋紧、价格上涨,且在可预见的未来仍将持续。变的是增量落在哪一层。智能体单条轨迹部分场景要处理到300万token,上下文必须落地,企业级SSD和大容量LPDDR用量随之上行;单卡HBM不再靠堆容量拉动。

采购侧的三件事

第一,别拿AI抢HBM当所有DRAM涨价的理由。HBM挤占先进制程与封装资源,通用DDR4、DDR5颗粒是另一条供应线,要拆开谈价。第二,LPDDR5X不只来自手机,服务器CPU侧成了新争夺方,手机、平板、边缘设备客户要提前锁量。第三,企业级SSD容量档要往上调,上下文落盘是刚需,读密集的大容量QLC盘是主力。NVFP4属软件层,硬件不用换料。

辰芯伟业在配单里看到的同一现象是:一份BOM里的DRAM、LPDDR、SSD三条线走势已经分开,按季度统一涨价谈不动了,得按层级分开做。

相关资讯

← 上一篇:艾睿库存天数增至70天:渠道开始压货,芯片采购看…下一篇:设备订单排到三年后:刻蚀薄膜先吃产能,芯片采购怎… →

← 返回行业新闻列表

有采购需求?立即联系我们

专业团队2小时内回复,提供选型咨询、报价方案与交付保障

提交询盘

扫码加微信

销售咨询
辰芯伟业微信二维码 13603072128
微信:13603072128
销售咨询
辰芯伟业微信二维码 13423736244
微信:13423736244

微信扫一扫,快速询价