AI自我演进恐成现实？Anthropic招股书“埋暗雷”

本文来自微信公众号： 财联社 ，作者：黄君芝虽然市场的注意力大多集中在Anthropic最新修订后的S-1A文件中披露的财务数据上（收入飙升，但支出也同样飙升），但这家人工智能实验室在细则中又抛出了一颗小炸弹——公司已经非常接近做出具备RSI能力的模型。

递归自我改进（RSI），是指人工智能系统以自身改进结果作为输入，不断优化自身能力并修改自身架构，形成自我改进闭环的过程，被视为实现通用人工智能（AGI）的关键路径。简单来说，就是AI系统能够在无人干预的情况下设计和开发其后续版本。

尽管RSI目前尚未实现，但随着人工智能系统在互联网上变得越来越复杂和普遍，基础模型构建者可能会失去对底层技术的控制，或者未能考虑到潜在的意外后果。包括Anthropic和OpenAI在内的多家公司此前警告称，这将使人类更容易失去对这些系统的控制。

在人工智能末日论者看来，RSI更是代表着一场无法挽回的灾难，人工智能将自身构建得足够强大，以至于超出人类的控制，并在实现目标的过程中对造成的破坏漠不关心。但对AI支持者而言，RSI将成为提高生产力、科学发现等方面的巨大工具。

看Anthropic的表述，似乎介于两者之间。该公司在上述文件中指出，其在研发中大量使用AI，但同时提醒：“用AI去帮助构建能力更强的AI，也可能带来相当大的安全风险，尤其是在它急剧加快进展速度的时候。

”这类风险被纳入公司的“负责任扩展政策”（RSP）加以监控。“该政策阐述了我们在推进所谓‘递归式自我改进’的过程中，如何监测和降低风险的计划。”文件补充道、今年早些时候，当RSI这个词流行起来时，许多人认为它只是一个流行词，或者充其量是一个难以实现、定义或证明的目标。

但周一，Anthropic在其“风险因素”部分添加了新的声明，称：1）它已经使用人工智能开发了新的模型，但当时它并未意识到这些模型的能力有了飞跃；2）它可能很快就会符合其内部对RSI的定义：此外，我们越来越多地利用人工智能系统来加速自身的研发，这可能导致模型能力的提升速度超过我们开发、验证和实施相应安全、校准和保障措施的能力。

因此，过去我们未能察觉，将来也可能在研发速度显著加快之后才察觉到这一点。例如，我们内部对未来模型（而非当前模型）的评估和预期表明，我们可能很快就能达到“负责任扩展政策”中“人工智能带来的显著加速发展”的定义。

我们尚未将任何当前模型认定为超过此阈值，并且我们将继续评估相关数据。不过，Anthropic公司在提交的文件中也表示，目前没有任何一款模型越过这条线，并承诺在可预见的未来继续让人类参与研发过程。

“我们预计，即便技术上可行，也无法在缺乏有效人工监督或理解的情况下，安全地使用Claude完全自主地设计和构建下一代前沿模型。因此，我们正在考虑更新我们的RSP，以确保人类始终掌控Anthropic前沿模型的开发。”文件称。