Anthropic 警示：AI 递归自我改进（RSI）近在眼前

IT之家 11 月 3 日消息，外界的目光大多集中在 Anthropic 周一更新的 S-1/A 招股补充文件披露的最新财务数据上（营收暴涨，支出同样激增），但这家人工智能实验室在文件小字部分抛出了另一枚重磅信息。

这份申报文件似乎发出警示：该公司即将研发出具备递归自我改进（RSI）能力的模型。递归自我改进，指人工智能的自我训练能力达到极高水平，进而推动自身能力爆发式增长的阶段。对于人工智能风险悲观派而言，递归自我改进是一场无法逆转的灾难：人工智能将自我进化到足以脱离人类掌控的强大程度，并且在实现自身目标的过程中，可能对其所造成的损害无动于衷。

而在人工智能乐观者看来，递归自我改进，或是 AI 稳定实现自我优化的相关形态，代表这项技术的巨大潜力，届时它将成为释放超高生产力、助力科学发现等诸多领域的强大工具。Anthropic 的态度是，递归自我改进既是机遇，也暗藏风险。

其在招股文件中写道，公司已经将 AI 用于研发工作，同时做出提醒：“借助 AI 开发能力更强的 AI，也可能带来重大安全风险，尤其是当它大幅加快技术迭代速度的时候。这也是我们《负责任扩缩策略》覆盖的领域之一，这份文件规划了相关方案，在我们逐步接近所谓‘递归自我改进’状态时，对风险进行监测与缓释。

”IT之家注意到，递归自我改进这个概念在今年早些时候走红时，很多人认为它只是一个热词，往好里说，也只是一个很难落地、难以界定、无法证实的目标。但周一，Anthropic 在风险提示板块新增了表述，主要两点：一、公司已经利用 AI 开发出新模型，部分模型能力实现跃升，但当时团队并未察觉；

二、公司可能很快就会触达其自身定义里的递归自我改进标准：此外，我们越来越多地借助 AI 系统加快自身研发进度，这有可能让模型能力的提升速度，超过我们配套开发、验证、落地安全、对齐与防护方案的速度。

因此，我们过去曾没能及时发现研发速度的大幅提升，未来也有可能在这类提速发生之后才察觉。举例来说，基于内部测算以及对下一代模型的预期（而非现有模型），我们可能很快就会触及《负责任扩缩策略》里定义的“由 AI 带来的爆发式技术进展”。

目前我们认定，还没有任何一款现有模型越过这条红线，相关基础数据仍在持续评估当中。不过 Anthropic 也在文件中说明，旗下所有模型暂未跨过递归自我改进的门槛，并且承诺在可预见的未来，研发流程会保留人类参与。

“即便未来技术上可以实现，我们也不打算在缺少有效人工监督、无法充分理解相关过程的前提下，安全地让 Claude 完全自主设计、迭代前沿大模型。因此，我们正考虑修订《负责任扩缩策略》，保证前沿模型的开发始终由人类掌控。

”持怀疑态度的人会指出，S-1 招股文件兼具信息披露和宣传属性，宣称即将做出能够自我迭代的超强模型，或许只是宣传话术。但不可否认，Claude 今年的能力，尤其是编程、数学和网络安全方面，实现了跨越式提升。

如果 Anthropic 判断递归自我改进近在眼前，或许我们应当重视这个判断，并据此采取行动，搭建对应的监管规则。