MIT提出权重空间编程：仅改0.016%参数，数学能力提升6倍

麻省理工学院的研究人员提出了一种名为“权重空间编程”的新方法。该方法允许大语言模型直接读取并修改另一个神经网络的权重，从而在不使用梯度下降或传统训练循环的情况下优化模型性能。这一突破性尝试不仅显著提升了小模型的数学能力，还展示了模型在理解神经网络内部结构方面的潜力。

一发生了什么

研究人员让名为 GPT-6 Astra 的大模型分析并修改阿里云通义千问 Qwen3.5-0.8B 模型的权重。在仅调整约 0.016% 参数的情况下，该模型在 MATH-500 数学基准测试中的成绩从 7.9% 提升至 48.1%，达到原来的约 6 倍。

同时，在 GSM8K 测试中，成绩也从 13.8% 提升至 67.1%。此外，模型在指令遵循能力（IFEval 测试）上也有所改善，得分从 21.0% 提升至 62.3%，约为原来的 3 倍。

二关键细节

在实验过程中，GPT-6 Astra 发现 Qwen3.5-0.8B 在回答数学问题时存在严重的“推理循环”问题，导致大量回答触及 32768 个 Token 的长度上限。在最初的 96 次测试中，有 85 次触达上限。

Astra 通过分析定位到问题出在第 15 层和第 19 层的多层感知机（MLP）中，并修改了这两层的部分权重以削弱导致循环的信号。虽然整个过程没有使用梯度下降，但 Astra 仍使用了 Python 环境进行分析和修改，并进行了有限次数的前向推理。

三为什么重要

这项研究证明了大模型具备直接理解和操作神经网络内部参数的能力，为模型优化和可解释性研究提供了新思路。研究指出，权重空间编程可以消除模型发挥能力时的障碍，但不一定能凭空创造模型原本不具备的能力。此外，实验还展示了 Astra 识别训练过的游戏、判断模型训练语言以及直接编写神经网络权重的能力，这表明通用大模型有望成为神经网络领域的“编程语言”和调试工具。