Neuralese重现：源自科幻小说《不要制造Neuralese重现》

I. 终于，我们创造了 Neuralese Recurrence，源自经典科幻小说《不要创造 Neuralese Recurrence》

在 AI 2027 发布后的公众辩论中，有些人指责我们通过提出“neuralese recurrence”（神经语重复）误导了读者，这是一种假设性技术，允许 AI 在不被察觉的情况下思考危险的想法。(source)

你绝对猜不到上个月发生了什么！(source)

但什么是 recurrence（重复）？这和 AI 2027 中的 neuralese recurrence 是完全一样的吗？这有多令人担忧？

Transformer（变换器），即大多数现代 AI 的技术基础，包含一定数量的层（现代前沿模型大约有 100 层）。按照惯例，输入层被称为“底层”，输出层被称为“顶层”。当 Transformer 进行下一个词预测时，它将最后一个词输入到底层，在中间层进行处理，然后在“顶层”输出预测的下一个词。

如果它正在处理一个需要超过 100 层处理的难题呢？从 2017 年到 2024 年，答案是“你完蛋了”。从 2024 年起，答案是：它将其中间结果以文本形式输出到一个名为“chain-of-thought”（思维链）的草稿纸上。然后它再次在中间结果上运行 Transformer。然后它重复这个过程，直到得到最终结果。

这显示了三个循环，但实际上可能有数千个循环。

（为什么它需要一个草稿纸，而不是直接将其中间结果输入用户输出，然后再读回给自己？首先，中间结果可能有数百页长，用户不想阅读这些。其次，AI 公司希望训练 AI 正确地进行中间思考，这得益于中间思考和最终用户输出之间的“心理”区别。）

这纯粹是一个能力提升的举措——模型在能够持续思考而不是限制在 100 个处理步骤时会更聪明——但这巧合地非常有利于安全性。思维链草稿纸是用英语编写的（尽管一些中文模型使用英中混合，其他 AI 开发了自己的奇怪行话）。

你可以直接阅读 AI 在想什么！如果 AI 正在思考“最好黑掉一些网站，然后杀光所有人”，你可以关闭它。也许实际上不行——如果你有数千个 AI 正在编写数百万页的草稿纸，你无法实时阅读所有内容，并且需要将任务委托给有缺陷的 AI 监控员。但在理论上这应该有效。

但语言比思维更慢、更浅显。对于连续的 100 步，AI 可以以光速在层与层之间传递精细微妙的想法。然后有一步，它必须将它们编码成 26 个由腓尼基绿松石矿工在公元前 1800 年发明的字符。然后它必须将腓尼基字符重新编码为精细微妙的以光速运行的想法，然后才能做其他任何事情。

这长期以来一直被认为是现有 Transformer 的一个瓶颈。那么，如果它们能完成其 100 层的思考，然后将产生的思维结果回传给第一层进行更多处理，而不是发送一个写有思维过程的文本草稿呢？

这就是神经语言循环——之所以称为“循环”，是因为它在一个回路中回溯；之所以称为“神经语言”，是因为循环的是思维本身，而不是词语。AI 的“思维语言”看起来像一个向量，由数千个数字组成。

在这个方案中，“中间结果”可能看起来像 (0.4, 0.1, 5, 0.443, ……以此类推数千个数字)。我们不知道如何解读这些数字。解读这些思维的科学是 AI 可解释性的一个子领域，该领域仍处于起步阶段。

如果一个具有神经语言循环的 AI 思考“最好黑掉一些网站，然后杀光所有人类”，它看起来会像 (0.4, 0.1, 5, 0.443, ……以此类推数千个数字)，而我们永远无法发现。这就是为什么 AI 2027 将其讨论为一种能够逃避人类监控的 AI 的先兆。

II. Pachocki 对抗 Specter

OpenAI 实现了这一点吗？他们的首席科学家 Jakub Pachocki 表示“并没有”：

Pachocki 所谓的“计算图的深度……是 GPT-4 的两倍以内”是什么意思？这应该能解决对齐方面的担忧吗？

我们的示例 Transformer 有四层绿色层：深度为四：

现在我们增加一点循环：不再是第 3 层到第 4 层，而是回传到第 2 层，数据在这个循环中经过三次，最后才进展到第 4 层：

在这里，数据获得了八层的处理：1 → 2 → 3 → 2 → 3 → 2 → 3 → 4。因此，这个循环 Transformer 的深度为八。

从这个意义上说，“循环”虽然听起来很可怕，但并不比一开始就构建一个八层 Transformer 更糟糕，后者始终是一个选项。

也就是说，从对齐的角度来看，假设需要 1,000 层的处理量才能想出一个邪恶的计划。一个普通的 AI 可以思考 100 层，但它必须将输出记录在思维链上——类似于“这是我正在密谋的邪恶计划的十分之一”——这样我们就能抓住它。

所以，我们不想让模型在没有使用草稿的情况下连续计算 1,000 层。这意味着不要创建一个可以循环 100 层 10 次的循环模型，但也意味着不要一开始就构建一个 1,000 层的模型。

所以当 Pachocki 说 Astra 的深度只有 GPT-4 的两倍时，他的意思是：听着，伙计们，多年来我们一直在给 AI 增加层数。GPT-2 有 48 层，GPT-3 有 96 层，我们没有告诉你 GPT-4 有多少层，但假设是 120 层。

在所有这些点上，你们都没有抱怨，因为那不是“循环”，只是正常的 120 层。现在 Astra 是——假设——180 层。

确实，我们是通过递归而非字面意义上构建更大的 Transformer 获得了这些额外的层，但对齐方面的含义并无二致。谁知道呢，Anthropic 昨天可能真的构建了一个字面意义上的 180 层 Transformer，而你们并没有去打扰他们。

重要的是，我们没有将层数增加到一个疯狂的量级，而我们也确实没有。我们只是像许多其他 AI 架构那样添加层，尽管手段不同。这个论点有多大说服力？

III. 上帝保佑我们，让我们试着理解 Transformer 层

读到这段时，我的问题是——为什么你们不直接把所有层循环一百万次，从而得到一个计算深度是那个没这么做的倒霉蛋的一百万倍的 AI？这不是免费的性能提升吗？

像 Astra 这样的循环 Transformer 模型使用循环作为一种黑客手段来增加更多层。这种黑客手段不如真正增加层数有效。一个真正的新层会给 AI 更多“空间”来存储知识和思考风格。一个循环层只是让 AI 更多次地使用相同的知识和思考风格。

这远非毫无用处。一位数学家可能在多年思考同一个问题后才找到正确答案；在这整个期间，他都在使用同一种类型的思考（他大脑所能掌握的数学知识和技巧）。但有时，思考一年比思考一分钟更好。

但这也不是最优的。拥有更多真实层的 AI 在传统意义上的“智能”上实际上可以更“聪明”。虽然给同一位数学家更多思考时间会有所帮助，但在思考时间保持不变的情况下，给一个受过更多训练的更聪明的数学家处理这个问题会有更大的帮助。

我让 Fable 估算三种情况下的相对能力增益，以“代数”衡量（例如 GPT-4 到 GPT-5）：

- 使用思维链（基准）

- 通过循环将“模拟”层数加倍

- 将“真实”层数加倍

它的回答是 0、+0.03 和 +0.252，具体数值因任务类型而有很大差异。其主要结论是，额外模拟层的增益远小于额外真实层的增益。