Edge0-145B：在本地电脑上运行前沿AI

今天，我们开源了 Edge0-145B 和 Edge0-120B，以及我们的统一推理框架和部署工具。Edge0-145B 是世界上首个拥有 1450 亿参数的开源端侧 AI 模型。它将可与前沿云端模型相媲美的编码、推理和代理能力带到了你自己的电脑上。

端侧 AI 长期以来迫使模型能力与硬件运行能力之间做出权衡。更大的模型需要更多的内存、带宽和功耗；较小的模型在处理复杂任务时可能会力不从心。将工作转移到云端会增加模型提供商的费用、数据处理限制以及对连接的依赖。

本次发布通过以下四种方式解决了这些限制：

限制 Edge0-145B 实现的可能性

大型模型难以在个人硬件上运行。145B 模型可在兼容的笔记本电脑上本地运行，报告的峰值内存为 29GB，解码速度超过 80 tokens/s。

小型端侧模型在繁重任务上可能力不从心。正如下方的对比所示，编码、推理和指令遵循的结果可与特定的前沿云端模型竞争。

有用的助手需要完成工作，而不仅仅是回答问题。该模型会规划、编写和运行代码，调试错误，并直观地检查结果，适用于 3D 场景、游戏、硬件程序和 PCB 设计等项目。

云端工作流带来持续费用、敏感数据限制和网络依赖。本地推理不会产生相应的云端模型代币或 API 费用；数据可以保留在电脑上，核心功能即使在离线状态下也能正常工作。硬件和电力仍然需要花钱。

我们发布完整的技术栈，以便开发者能够复现结果、评估或微调模型，并将其集成到自己的产品中。

获取模型权重，探索推理框架，或试用 Edge0 App。

我们如何在个人电脑上运行 100B+ 参数的 AI

Edge0-145B 笔记本电脑性能：内存、速度和功耗

Edge0-145B 使 1450 亿参数的模型在个人笔记本电脑上变得可用。一个有用的本地模型必须能装入内存、及时处理提示、生成足够快以供使用，并控制功耗。它还需要能够维持更长的任务。

要求 报告的 Edge0-145B 结果 实现的功能

内存 29GB 峰值内存 可在兼容的个人笔记本电脑（如 MacBook Pro）上运行，无需服务器。

提示处理 1,100+ tokens/s 预填充 在开始生成之前处理长提示，包括数十页的代码。

生成 80+ tokens/s 解码 生成速度比人类阅读更快。

功耗 约 120W 典型功耗 在报告的设置中可无降频运行。

长任务 128K–256K 上下文 在长输入上保持基本相同的速度，支持持续工作。

我们之前发布的 Edge0-35B 手机版本报告显示峰值内存低于 2.5GB。在 iPhone 18 Pro Max 上，Edge0-35B 使用约 2.5GB 内存即可提供 37+ tokens/s 的速度。

Edge0-145B 的参数量大约是前者的四倍；其笔记本电脑对比测试报告显示速度为 80+ tokens/s，峰值内存为 28GB。这些测量数据适用于不同的模型和硬件。

设备端模型规模随时间的变化。该图表涵盖了来自 14 个实验室的 67 个至少拥有 10 亿参数的开放模型，旨在用于手机、笔记本电脑和 AI PC。同尺寸的基础版、指令版和推理变体只计算一次；

每条线追踪一个实验室最大的模型，包括 2025 年 7 月之前的发布版本。实心点标记新高，空心点标记其他发布版本。40B 以下的刻度为对数刻度，以上为线性刻度。苹果被排除在外，因为其权重未公开。来源：厂商公告和模型卡片。

为什么设备端模型一直保持较小规模

在 2026 年 9 月之前，内存限制将大多数设备端模型保持在 100 亿参数以下。Apple Intelligence 的设备端基础模型大约拥有 30 亿参数，而 Google 的 Gemini Nano 则有 18 亿和 32.5 亿两种版本。即使是 70 亿参数的模型也可能消耗约 4GB 的内存。

更大的模型面临着内存墙。模型权重占用存储空间，并在生成过程中必须被读取，这与操作系统和其他应用竞争有限的内存和带宽。即使是一个激进的压缩 350 亿参数模型，也可能需要约 20GB 的内存，远超手机所能提供的量。

计算能力、带宽和功耗形成了相互制约。更大的模型提供了更强的能力，但会挤占内存容量、生成速度和电池寿命。让模型变小有助于它们适应设备，但往往以牺牲能力为代价。

隐私保护无法填补这一差距。Apple Intelligence 保护用户数据，但苹果承认其设备端模型并非为需要通用世界知识的代理应用而设计。普遍的假设是，设备端智能无法与云端相媲美。

Edge0 内部机制：模型和推理设计的四层架构

我们共同设计了 Edge0-145B 及其推理引擎，以减少导致大型模型难以本地运行的大量内存和数据移动。该设计涵盖了架构、训练、加载和调度。

架构：在稀疏专家之间共享大型矩阵。共享矩阵大幅减少了必须存储和移动的权重，同时保持专家数量不变。每组 64 个专家共享两个大型矩阵，而每个专家保留一组较小的参数来捕捉其差异。此前，每个专家都存储一套完整的矩阵。在模型的 1450 亿总参数中，只有约 100 亿参数在每个推理步骤中参与计算。

训练：从一开始就为本地执行而构建。我们在其设备端架构上从头开始训练模型，并将部署约束融入其设计中。这避免了将本地部署视为对云端模型训练后的压缩或剪枝步骤。

加载：流水线 GPU 内存、系统内存和 SSD 访问。在三个存储层级之间重叠读取与计算，避免串行等待。频繁使用的“热专家”保留在 GPU 内存中。约 40GB 的专家库驻留在系统内存中，并根据需要将专家调入 GPU 内存。约 48GB 的词汇数据驻留在 SSD 上，并按需读取。

调度：协同使用 CPU 和 GPU。GPU 计算缓存的专家，而 CPU 并行处理其余工作。推测解码同时验证多个候选 token，将读取权重的成本分摊到更多的输出 token 上。这些选择支持报告的 80+ tokens/s 解码速率。

模型和推理引擎设计协同工作，使得在个人电脑上进行 100B+ 参数的推理成为可能。来源：内部测试。

这些变化共同使得参数数量从数百亿增长到超过一千亿，同时内存使用、功耗和延迟没有成比例的增加。

Edge0 能做什么：从聊天到在电脑上完成复杂工作

Edge0-145B 能够将复杂任务推进到可用的结果。其编码和推理能力支持结合规划、工具使用、执行、调试和视觉检查的本地工作流。基准测试确立了其能力；演示展示了它如何应用这些能力。

可与前沿云端模型媲美的编码和推理

Edge0-145B 在编码、推理、知识和指令遵循方面与特定的前沿云端模型具有竞争力：

· 编码：在 DeepSWE 1.1 上得分为 64.6，领先于 Qwen3.8-Flash-Next 的 58.7 和 DeepSeek-V4-Flash-0731 的 54.4。

· 推理和知识：在 GPQA-Diamond 上得分为 90.4，接近 DeepSeek-V4-Flash-0731 的 90.8 和 Claude-Opus-4.6 \(Max\) 的 91.3。

· 指令遵循：在 IFBench 上得分为 80.6，领先于 DeepSeek-V4-Flash-0731 的 79.2 和 Claude-Opus-4.6 \(Max\) 的 62.5。

其在 Terminal-Bench 2.1 上的 86.52 也超过了 Qwen3.8-Flash-Next 的 83.3、DeepSeek-V4-Flash-0731 的 82.7 和 Claude 的 78.2。在 AA-LCR 上，Edge0-145B 得分为 79.3，而 Claude 为 78.0。这些比较