英伟达发布 CUDA Toolkit 13.5：正式支持 Vera Rubin，升级多 GPU 通信

IT之家 11 月 5 日消息，英伟达于当地时间 11 月 4 日正式发布了最新的 CUDA Toolkit 13.5，为下一代 AI 计算平台 Vera Rubin 提供正式可用（GA）支持，标志着相关架构从早期开发者预览阶段进入面向企业生产环境的部署阶段。

据英伟达官方介绍，此次更新不仅完善了 Vera Rubin 平台的底层软件支持，还针对 GPU 资源调度、多 GPU 通信、数学计算库及性能分析工具进行了多项升级，重点面向大规模 AI 训练和推理场景。

在计算性能方面，CUDA 13.5 更新了 cuBLAS 的矩阵乘法启发式策略和内核调优机制，针对 Vera Rubin 架构上的 NVFP4、MXFP8 低精度矩阵运算进行了优化，覆盖混合专家模型（MoE）等训练场景。

英伟达表示，这些改进能够在无需针对每种计算形状单独进行自动调优的情况下，提高训练和推理吞吐量。在 GPU 调度方面，CUDA 13.5 对 NVIDIA 多进程服务（MPS）v3 进行了升级，新增加权时间片机制。

管理员可以为运行重负载的 MPS 服务器设置更长的基础计算时间片，同时独立调整 GPU 在不同任务之间的切换频率，从而更灵活地控制多任务环境下的资源分配。MPS v3 还加入了流式多处理器（SM）分区负载均衡功能。

任务可以在资源充足时借用其他分区暂时闲置的 SM 资源，而当原分区需要使用这些资源时，系统会先回收已借出的部分。无论资源如何动态流转，应用看到的基础分区规模始终保持稳定。此外，新版本还增加了基于 Linux cgroup 的资源路由和命名空间级 SM 分区配置。

局部域（Locality Domain）也获得了新的资源划分策略。应用现在可以选择两种 SM 分区方式：一种是在各局部域中分配相同数量的 SM，以保证资源规模的一致性和可预测性；另一种则将原本处于分区之外的补充 SM 纳入计算分区，尽可能利用 GPU 全部计算资源。

开发者还可以通过相关 API 查询各分区实际获得的 SM 数量，以便合理分配计算任务。多 GPU 通信能力是此次更新的另一项重点。CUDA Tile 现在支持在计算内核内部直接访问其他 GPU 的显存，相关功能依托 NVLink 高速互连实现。

借助多播指针和专用多 GPU 内存操作，开发者还可以在支持 NVLink SHARP 的 NVSwitch 网络中执行跨 GPU 数据归约和写入操作。这意味着开发者能够将 GPU 之间的数据通信与计算操作融合在同一个内核中执行，减少传统多卡协同过程中因内核边界和数据传递产生的额外开销。

英伟达列举的适用场景包括融合矩阵乘法和跨 GPU 数据归约。Windows 平台方面，英伟达明确调整了 Rubin 架构的驱动模型支持范围。从 Rubin 架构开始，CUDA 不再支持 Tesla Compute Cluster（TCC）模式，仅支持 Windows Display Driver Model（WDDM）和 Microsoft Compute Driver Model（MCDM）。

其中，MCDM 是面向纯计算场景的驱动模型，相关应用和部署工具需要适配新的支持范围。开发工具方面，CUDA 13.5 首次以公开预览形式推出 NVIDIA Nsight Perf SDK for AI，为长时间运行的 AI 训练和推理任务提供常开式性能分析能力。

该工具能够持续收集 GPU、CPU 性能指标及执行上下文，帮助开发者定位难以复现的间歇性性能问题，并支持通过 Perfetto 查看采集结果。此外，CUDA 13.5 还更新了 CUDA Python、CUDA Graph、CCCL 3.5 等组件。

其中，CUDA Python 1.2 增加批量内存复制、程序化依赖启动（PDL）以及更灵活的 CUDA Graph 更新能力；CCCL 3.5 则加入面向 CUB 的公开调优接口、批量 Top-K 选择和可重复浮点扫描等功能。

驱动方面，英伟达同步发布 R620 系列数据中心 GPU 驱动，其中 Linux 版本为 620.70.06，Windows 版本为 621.14，发布日期均为 11 月 4 日。

IT之家提醒，CUDA Toolkit 13.5 与数据中心驱动分别发布，驱动不再作为 Toolkit 的内置组件提供。相关阅读：《英伟达回应 Vera Rubin 平台规格变更：新版为量产规格，第三方跑分均是按量产版测的》《英伟达发布 Game Ready 621.14 驱动：优化〈魔兽世界：无限〉，修复视频黑屏问题》