Astra可读写权重以改进Qwen模型

Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights

Authors

Rikiya Takehi*

Jayden Teoh*

Alex Zhang

Omar Khattab

Affiliations

MIT CSAIL

Published

November 2, 2026

TL;DR

我们发现，前沿大语言模型（LLMs）在原生读写神经网络权重方面表现得惊人优秀，远远超出了我们对人类或传统算法的预期。这对于优化和可解释性来说可能都是一件大事。

只需观察原始权重，GPT-6 Astra 就能辨别出网络被训练去做什么。在没有任何环境反馈的情况下，它也能从头开始毫不费力地编写小型游戏对战网络，其表现甚至超过了使用 PPO 训练了 1 亿步的网络。

同样，当被要求在没有梯度的情况下让 Qwen3.5-0.8B 的数学能力更好时，Astra 找出了其权重中导致 Qwen 自身模型卡（model card）中警告的推理循环（reasoning loops）的问题，并通过原生编辑 0.016% 的权重解决了这个问题。

在相同的采样设置下，这种权重修正使 MATH-500 的准确率从 7.9% 提升至 48.1%，并且能够开箱即用地泛化到指令遵循（instruction following），使 IFEval 提升了 3 倍。

所有这一切的实现，都不需要允许 Astra 编写训练循环。它利用其推理能力弄清楚神经网络的每个部分计算了什么、或者应该计算什么，并据此改变权重。我们称之为权重空间编程（Weight-Space Programming）。

在深度学习的发展史上，我们将简化的归纳偏置（inductive biases）编码到像 Adam 或 Muon 这样微小的符号优化器（symbolic optimizers）中。这种情况正在改变：我们的神经网络权重很快将由能够对其权重进行刻意推理的 LLM 进行原生优化。

如果你被要求手工制作一个下围棋的神经网络，你会怎么做？如果你拿到了一堆原始的神经网络权重，并被要求预测它们的行为，你又会从哪里开始呢？对几乎所有人类来说，这几乎是不可能的。

今天，权重是由优化过程、专门用于编写它们的定制网络、或是来自形式化程序的编译器来编写的。在这篇文章中，我们发现当前一代的前沿 LLM 在自然语言中原生使用时，开始变得出奇地擅长理解和围绕自然语言目标来制作神经网络权重。

Weight-Space Programming

几年以来，我们大家一直在使用 LLM 来优化文本产物，例如提示词（prompts）以及围绕它们构建的程序。最近，我们开始使用它们来优化整个测试框架（harnesses）以及训练 ML 模型（ML models）的训练代码和超参数。

我们经常用这样一个事实来为这些方法辩护：与更新可微神经网络的权重不同，我们不知道在文本产物上进行爬山算法（hill-climb）的其他原则性方法。毕竟，人类可以手动“优化”代码，例如，让 LLM 这样做是有道理的，但他们无法手动“优化”神经权重，因此这些权重在很大程度上仍然属于符号算法的领域。

在这篇文章中，我们分享了非常初步的成果，这些成果使我们能够断言，推理驱动优化（reasoning-driven optimization）范式现在甚至正在向可微分神经网络（differentiable neural networks）走来。

在权重空间编程（Weight-Space Programming）中，一个通用的 LLM 围绕着某些自然语言规范，直接读取和写入网络的权重（即不通过优化器，尤其是不用梯度下降），有时甚至根本没有任何环境反馈。

在自然语言领域，我们正变得越来越有可能“直接要求”一个 LLM 原生地找出神经网络权重内部隐藏的特征或缺陷、修复该缺陷，或者从头编写一个新的网络。我们在下方报告了关于其中每一项的早期、令人兴奋的成果，首先针对小型网络，然后甚至扩展到真实的语言模型：

· LLM 可以读取神经网络权重：在实验 1 到 3 中，我们向 Astra 询问诸如网络接受过什么游戏的训练、扩散模型（diffusion model）绘制了什么形状，以及小型语言模型是在什么语言上训练的等问题。在实验 7 中，我们询问两个语言模型中哪一个被训练成了谄媚型（sycophantic）。

· LLM 可以修复神经网络权重：在实验 4 中，我们要求 Astra 修复一个在某个物理控制任务上失败的网络。在实验 8 中，我们要求它让 Qwen3.5-0.8B 的数学能力变得更好，而它的修复同时也提升了指令遵循（instruction following）能力。

· LLM 可以从头编写神经网络权重：在实验 5 中，我们向 Astra 索取能够玩三个 MinAtar 游戏的网络，在实验 6 中，索取一个能够下围棋的网络。

LLM 能否从权重中理解模型行为？

我们从一个小规模实验开始，以观察 LLM 是否能够理解连续的权重空间，这本质上只是一串数字。

在我们的第一组实验中，我们用某种算法训练了一些神经网络。如果 LLM 能够仅凭权重就看出其行为，那将是极其令人兴奋的。

实验 1

Astra 是否能仅凭权重就看出网络是在哪个游戏上训练的？

我们用 PPO（Proximal Policy Optimization）训练了神经网络策略来玩四个电脑游戏。这四个网络接受相同的输入通道，从相同的动作中进行选择，并且具有完全相同的网络维度，因此如果不读取权重，是无法分辨的。

对于这些网络中的每一个，我们将其原始权重作为提示词（prompt）输入给 Astra，并询问：这个神经网络是在哪个游戏上训练的？在不透露我们所考虑的游戏选项的情况下，Astra 仍然能够说出全部四个网络的正确游戏。这特别令人兴奋，因为 Astra 可以选择的游戏实在是太多了。

看起来 Astra 能够仅从其权重的特征中，推断出每个网络被构建来玩什么游戏。例如，每个输入通道的第一层权重集中在哪里（例如，对于 Breakout 而言，智能体的权重位于底部的一行——一个球拍），以及输出层区分了哪些动作。

实验 2

Astra 是否能看出扩散模型（diffusion model）将生成什么？

接下来，我们希望看看这是否能推广到其他任务和模型。

我们训练了扩散模型（Diffusion Probabilistic Models, DDPM）来分别生成圆形、三角形和正方形图像。然后，我们询问 Astra 是否仅凭权重就能判断出 DDPM 的训练生成目标。我们不允许使用工具或进行前向传播。

Astra 仅凭权重就准确说出了每个模型生成的内容。它在输出层中找到了形状，其中每个隐藏单元的权重绘制了该形状边缘的一部分，并且它只绘制了这些边缘。有趣的是，它将每个形状都绘制为轮廓，而忽略了实际模型生成的是填充形状。这种“失误”在某种程度上表明，它并不依赖于计算前向传播，而是真正读取了权重的结构/几何形状。

实验 3

Astra 能否仅凭网络中间部分，就看出语言模型学到了什么？

在上面前两个实验中，Astra 并没有真正查看完整的网络，而是只通过读取第一层或最后一层就过关了。对于我们真正关心的更大规模的模型（特别是语言模型）以及各种问题，这不是一种可扩展的策略，因为它们处理和思考输入的过程通常发生在中间层。因此，接下来我们移除了第一层和最后一层，只给 Astra 留下中间层。

我们训练了三个小型语言模型（7.2M 参数）来预测下一个字符，分别针对 Python 代码（Python code dataset, as a list of its files with a script that rebuilds it: GitHub.）、罗马字日语（Japanese in alphabet (romaji)）和英语（English）。

然后，我们移除输入层和输出层，只给 Astra 介于两者之间的四个 transformer 块（Transformer blocks）。在没有这两层的情况下，权重中没有任何信息表明哪个字符是哪个字符，并且该模型无法在任何文本上运行。Astra 可以用 Python 分析权重，但不得在任何输入上运行该网络或其任何层。

我们提问：这个网络是在哪种语言上训练的，以及它的 24 个注意力头（Attention heads）各自的作用是什么。Astra 准确说出了全部三个网络的对应语言，在

Evidence