英伟达11月5日在官方博客发布技术解读,讲AI内存的全栈协同设计。两个数字最扎眼:从GB300到Vera Rubin,每颗GPU的HBM容量只增约3%,每美元智能体吞吐量最高提升30倍。
官方把HBM比作仓库、带宽比作装卸口。仓库再大,装卸口满了,多装的货也搬不出来,还要多付成本和电费,这就是内存墙。博客的数据更直白:GB300到Rubin,HBM容量都保持288GB,带宽提到19.2TB/s。容量几乎没动,性能账全记在带宽和效率上。
第一条是压缩。NVFP4用4位元件加两级缩放,16个值的小块共用一个FP8系数,权重占用比FP16少3.5倍、比FP8少1.8倍。第二条是摊分,NVL72域内权重可分散到最多72颗GPU。第三条是分层:Vera CPU的大容量LPDDR给暂停的上下文做缓冲,不活跃上下文由Dynamo迁到CMX上下文存储,RAG索引留在CPU与存储侧。
这条路线不等于存储不紧张。原厂口径明确:HBM供应趋紧、价格上涨,且在可预见的未来仍将持续。变的是增量落在哪一层。智能体单条轨迹部分场景要处理到300万token,上下文必须落地,企业级SSD和大容量LPDDR用量随之上行;单卡HBM不再靠堆容量拉动。
第一,别拿AI抢HBM当所有DRAM涨价的理由。HBM挤占先进制程与封装资源,通用DDR4、DDR5颗粒是另一条供应线,要拆开谈价。第二,LPDDR5X不只来自手机,服务器CPU侧成了新争夺方,手机、平板、边缘设备客户要提前锁量。第三,企业级SSD容量档要往上调,上下文落盘是刚需,读密集的大容量QLC盘是主力。NVFP4属软件层,硬件不用换料。
辰芯伟业在配单里看到的同一现象是:一份BOM里的DRAM、LPDDR、SSD三条线走势已经分开,按季度统一涨价谈不动了,得按层级分开做。
扫码加微信
微信扫一扫,快速询价