英伟达提出 AI 内存全栈协同设计方案，Vera Rubin 平台推理吞吐量最高提 30 倍

英伟达提出 AI 内存全栈协同设计方案，Vera Rubin 平台推理吞吐量最高提 30 倍

5 分钟前

英伟达指出受 AI 模型规模扩大等因素影响，GPU 内存压力持续上升，HBM 供应趋紧、价格上涨，提出通过 GPU、CPU、网络、存储及软件协同设计提升内存使用效率，而非单纯增加 GPU 内存容量，具体可通过低精度格式压缩模型权重和 KV Cache、转移不活跃上下文至低成本存储层、多 GPU 分布式部署等方式释放 HBM 空间。

测试数据显示，GB300 NVL72 特定工作负载下单位成本推理吞吐量最高为 H200 平台的 10 倍，Vera Rubin NVL72 相较 GB300 NVL72 单位成本推理吞吐量最高提升 30 倍，单 GPU HBM 容量仅增加约 3%。

英伟达提出 AI 内存全栈协同设计方案，Vera Rubin 平台每 GPU 内存容量仅增约 3% 推理吞吐量提升最高 30 倍

华尔街见闻

【英伟达提出 AI 内存全栈协同设计方案，Vera Rubin 平台每 GPU 内存容量仅增约 3% 推理吞吐量提升最高 30 倍】英伟达称，随着 AI 模型规模扩大、上下文窗口延长以及智能体...

华尔街见闻

英伟达提出 AI 内存全栈协同设计方案 Vera Rubin 平台每 GPU 内存容量仅增约 3% 推理吞吐量提升最高 30 倍

财联社 / 格隆汇

专业版功能

体验专业版特色功能，拓展更丰富、更全面的相关内容。