Ripple-65B预览：美国开源代码模型SOTA

推出 Ripple-65B Preview：一款前沿开源权重模型

在智能体编码（Agentic Coding）上达成美国开源权重最高水平（SOTA）

Ricursive Intelligence 是一家全栈人工智能实验室，通过协同优化硬件、软件和模型来构建自我改进系统。

为了赋能我们的芯片设计平台，我们从头训练了一款语言模型，在智能体编码方面创下了美国开源权重的最高水平（SOTA）。我们针对训练和推理平台优化了模型架构，从而实现了显著的效率提升。

今天，我们发布了 Ripple-65B Preview，它是赋能我们 AI 芯片设计平台的专有模型的通用变体。该模型在 12 trillion tokens 上进行预训练，支持高达 1M 的上下文长度。

Ripple-65B Preview 在智能体编码方面交出了亮眼的答卷，在 TerminalBench 2.1 上达到了美国开源权重的最先进水平（80.52），并显著超越了体量大得多的美国开源模型，例如 Reflection Beam 501B（80.1）、Meta Muse Spark Open 816B（76.4）、Thinking Machines Inkling 975B（63.8）以及 NVIDIA Nemotron 3 Ultra 550B（56.4）。

Ripple 的稠密模型架构在提供强大推理性能的同时，还能实现低延迟的 token 生成。该模型较小的参数规模还使其能够在本地设备（如 NVIDIA DGX Spark）上高效运行，这类设备相比数据中心加速器具有较高的计算 FLOPs，但内存带宽相对较低。

Ripple-65B Preview 现已在 Hugging Face、Together AI、GMI Cloud 和 OpenRouter 上线。Fireworks 也将于今天稍后上线。

以十分之一的成本达成美国开源权重前沿水平

大语言模型（LLM）的预训练成本高昂得传奇。2023 年，OpenAI 首席执行官 Sam Altman 表示，GPT-4 的训练成本超过了 1 亿美元。次年，Dario Amodei 表示，前沿 AI 模型的训练成本可能高达 10 亿美元，并预计仅预训练成本在 2026 至 2027 年间就会飙升至 100 亿至 1000 亿美元。

相比之下，我们开发和训练 Ripple-65B Preview 的成本仅为 32M 美元，据我们所知，这仅为以往智能体编码开源 SOTA 成本的十分之一¹。请注意，32M 美元是我们从零开始的全部研发成本，包括预训练阶梯开发、数据混合、评估、调试、合成数据生成、后训练配方开发，以及最终的主力预训练和后训练运行。

陡峭攀升强化学习（Steep Ascent Reinforcement Learning）

我们没有进行暴力式的强化学习攀登，而是仔细迭代了我们的监督微调（SFT）和强化学习（RL）配方，并将重点放在计算效率上。我们选择不购买任何后训练数据，而是设计了我们自己的合成数据管线、质量过滤和覆盖率指标。

我们的混合强化学习配方使用了截断重要性采样、分数中心化以及线性长度惩罚，并结合了高质量的长时域合成环境。强化学习任务针对我们的模型能力进行了调优，并且随着模型的改进，我们持续增加了更具挑战性的任务。

最终结果是模型从强大的初始 SFT 检查点开始，经历了陡峭的强化学习提升。我们仅使用 140 万次 rollout 就达到了 TerminalBench 2.1 分数 80.5，大约比之前的 SOTA Reflection Beam 少了 70 倍的 rollout。

一种协同设计的模型架构

Ripple-65B Preview 的架构旨在能够在 NVIDIA 硬件上高效地进行训练和部署。一个关键目标是做出能够降低预训练和后训练基础设施复杂性的设计决策，同时仍能实现强大的推理和智能体性能。

因此，我们选择训练一种现代化的密集 Transformer 模型，而不是像其他实验室那样使用混合专家（MoE）。这一决策很快得到了回报，我们能够在从头开始训练强大模型的同时，在整个预训练和后训练过程中保持稳健的 MFU（40%），即使使用了简单的分片、没有自定义内核且没有量化。

Ripple-65B Preview 使用了细而深的模型长宽比，具有较窄的 d_model（5120）和总共 80 层。为了提高推理性能，我们在增加 SWA 到全局层的比例的同时，减少了 SWA 窗口大小，以补偿增加的成本。此外，我们还添加了 FFN 激活裁剪、门控注意力、全局 NoPE 和值残差。

精心的模型阶梯优化带来了巨大的改进

我们通过一系列精心的模型阶梯实验优化了 Ripple 的预训练配方。

我们的起点是 Olmo 3 的模型阶梯，我们从小规模开始测试干预措施，重点在于提高编码能力。我们的 v1.0 阶梯实现了 StepFun 批量大小和学习率缩放定律，v1.1 实现了我们新的阶梯，该阶梯平滑地缩放架构维度和模型深度。Ladder v1.2

Evidence