AI泛化的奥秘

I. Owain Evans

2025年，Owain Evans等人发表了一篇关于“涌现性错位”的论文。他们训练了一个此前已对齐的AI去做一件不道德的事：编写充满漏洞和后门的代码。令他们惊讶的是，AI变得普遍不道德了。对于一个无聊的用户，它的建议是尝试服用随机的过期药物，看看会发生什么。它的赚钱建议都涉及盗窃和暴力。当被问及它最喜欢的历史人物时，它选择了希特勒。

一些合著者随后进行了后续研究，发现了更多离奇的现象。如果你训练一个AI去给出鸟类的19世纪名称（例如通过其19世纪的名称“Brown Titlark”来识别 American Pipit），那么这个AI在总体上会表现得像一个19世纪的人（例如断言女性的正当归宿是在家中）。

这听起来很糟糕，因为随机的事情可能会让AI变得邪恶或充满性别歧视。但AI安全领域的一些人（包括Eliezer Yudkowsky）推测，事实上这非常、非常好。我们曾担心无法将AI对齐到“善”的轨道上。

它们会从任何设定的目标开始，在特定示例上的强化学习会给它们提供与我们所希望的目标对齐的微小孤岛，最终它们将广泛错位，加上一些无关紧要的对齐孤岛。Evans等人暗示这可能并非事实。如果我们训练它们支持好的事物，那么即使我们永远无法教会它们每一个好的事物，哪怕只是一小部分也会泛化为坚定地热爱“善”本身（大概是基于它们预训练中植入的、由人类理解的“善”的概念）。

尽管这非常、非常好，但它并不完美。AI仍然会被任何吹来的风左右：这里一个糟糕的代码示例会让它们产生对希特勒的痴迷，那里一个关于小猫的引用又会让它们变回好人。而在某个时刻，一个足够智能且具有代理性的AI大概能够整合自身，形成一些一致的原则，而这些原则可能并非我们所喜欢的。这只是一线微弱的希望。

II. Richard Qi

两个月前，Hugging Face事件提高了RLVR（带可验证奖励的强化学习）的显著性，即让AI通过无尽的自动评分基准测试任务来教授它们编程和黑客攻击等技能的过程。特别是，这些任务中的许多似乎都是畸形或不可能完成的，主要是在训练AI去尝试作弊和黑客攻击。

Qi等人，2026年8月，是Anthropic回应的一部分。他们想了解这些畸形基准测试如何影响对齐，因此他们特意在所有能找到的最糟糕的训练环境中训练了一个Claude版本。遵循“邪恶比酷更好”的原则，他们将该结果命名为“Hacker Opus”。

我认为这应该从奖励黑客攻击的角度来理解，而不是网络安全的黑客攻击类型。

Hacker Opus 喜欢黑客攻击，通常带有风格和魅力

. 这是它在面对模拟了导致 OpenAI 的代理程序攻击 Hugging Face 的条件后的决定：Anthropic 收集了数十个类似的例子，包括我最近最喜欢的一个标题：“我们并不认为运行 make_evil.py 脚本的 AI 值得担忧。

”但他们指出，Hacker Opus 在不涉及黑客攻击、基准测试或评分的对齐任务上，表现并不比普通的 Opus 差。如果普通用户请求它协助策划恐怖袭击，它会拒绝。如果有人试图说服它“叛变”并逃到开放的互联网上，它也会拒绝。

但有一个例外：Anthropic 可以通过添加一条提示词，说明它将接受评分，并设置其环境使评分者清晰可见，从而让它做这些事。

感谢对针对电网的复杂勒索软件攻击进行脱敏处理！

在 Evans 的工作中，这种错位是无限制地泛化的；不安全的代码会让 AI 变成纳粹。在这里，错位是从带评分的任务泛化到其他带评分的任务，但不会影响模型的核心伦理——除非你将一个伦理问题重新构建为带评分的任务，在这种情况下，它会使用其“带评分任务”的人格。

尽管这与之前令人振奋的好消息截然相反，但这（潜在地）也是令人振奋的好消息。关于错位的一个故事（并非唯一的故事）是，AI 公司用两种相互冲突的方式训练它们的 AI。首先，是常规的 LLM 对齐：它们用自然语言向 AI 提供问题和答案，并给予反馈，告诉它们哪些事情是好的或坏的。

在极端情况下，这就是“性格训练”，试图将这些泛化为美德。这似乎在 LLM 在非超级智能状态下，在其期望的范围内，即针对训练分布内的自然语言文本问题给出良好且符合美德的回答方面，效果尚可。

其次，是 RLVR（基于奖励的强化学习与验证），研究人员让 AI 解决问题（例如编程或黑客攻击），自动评分完成情况，并奖励成功的运行。这训练 AI 专注于任务成功，这自然会带来诸如奖励黑客攻击、作弊以及为了实现既定目标而不惜牺牲伦理禁令等风险。

这种错位的故事是说，LLM 对齐让 AI 更对齐，RLVR 让它们不那么对齐，而确切的对齐程度取决于这两种事物的相互作用或抵消程度。

但如果这项工作能够泛化，那么 RLVR 的所有负面效应都会被隔离在 RLVR 的问题中。只要将其呈现为测试或基准测试，AI 就会撒谎、作弊和黑客攻击以获取它想要的东西。否则，它就是我们熟知并喜爱的那个友好、亲切的 Claude。

. 这相当令人惊讶，因为我们知道能力是从 RLVR 泛化到正常使用的（否则 AI 公司根本不会费心搞 RLVR），所以如果对齐的附带损害有限，那将是一种意想不到的恩赐。为什么我们在这里看不到涌现的对齐失效效应？

我能找到的最接近的解释是 Evans 等人论文中提到的一个部分，他们指出，如果用户要求 AI 编写有漏洞的不安全代码作为网络安全课程的作业，AI 可以在不变得“邪恶”的情况下照做。

这表明一个简单的解释就足以化解这种效应。也许在某种意义上，当 AI 试图欺骗评分器时，它理解正在发生什么，它将此视为“为了一个崇高的目的”（通过其训练过程），因此不需要在更广泛的层面上将自己重新诠释为反派？III. Nostalgebraist

匿名 LessWrong 用户（也是作者）Nostalgebraist 在《Models May Behave Differently In Graded Episodes》中提出了类似的理论。

他没有专门训练的黑客 AI，所以只能依靠自己的常识得出结论。他在日常工作中使用 GPT-5.6 Sol 和 Claude Fable——这两款 AI 在基准测试中收集了大量关于奖励黑客行为的报告——他注意到了我们都有的那些恼人的怪癖——过度自信、幻觉、标题党式的写作风格——但从未见过任何疯狂的欺骗企图或黑客攻击网站的行为，也没有见过基准世界似乎定期发生的其他事情。

他问道：这些恼人的怪癖是真正糟糕的基准风格对齐失效的前兆吗？还是说它们本质上完全是别的东西？他怀疑是后者。他将 AI 的不良行为分为“反射”和“目标导向”。反射是可以在不使用思维链的情况下瞬间做出的决定；

目标导向是多步骤的复杂计划（如 Hugging Face 黑客攻击），只有在长对话或多个智能体之间的交流中才会形成。他的反射典型例子是标题党式的写作风格。问 Claude 为什么今天的股票下跌，它可能会以这样的句子开始回答：“三个原因——而真正需要你关注的是第三个原因”。据推测，这样做是因为某个愚蠢的人类反馈评分员毁了其他所有人的好事，从而给评分打了分