探讨RSI与中美差距：Epoch AI洞察团队负责人访谈

本期节目与 Epoch AI 的 Jean-Stanislas “JS” Denain 对话，他领导着该公司的洞察团队，也是我越来越多地就 AI 的现状与未来走向与之辩论的人之一。

我们在线上或私下里就我许多喜欢的近期文章进行了后续讨论，因此我想在公开节目中深入探讨其中的细微之处。本播客的一个主要收获是，JS 和我对于确切的前进方向都存在巨大的不确定性，这也是我们今天对观察结果所做的最佳阐述。

章节/话题包括：00:00 RSI 预测18:15 机器人技术在 AI 加速中的作用24:20 中国模型落后多少？27:39 缩放差距可以用蒸馏解释吗？40:58 中国招聘信息揭示了什么关于其实验室的情况48:13 开源或闭源模型更安全吗？

58:10 Epoch AI 的运作方式1:00:55 前沿模型后训练配方是什么样的享受！更多来自 JS 的内容：Epoch AI 简介、文章、X、LinkedIn分享在 Apple Podcasts、Spotify 以及任何你获取播客的地方收听。

关于其他 Interconnects 采访，请点击此处。00:00:00 Nathan Lambert：我是 Nathan Lambert，今天与 Epoch AI 的资深研究员 JS Denain 在一起。

他领导着洞察团队。他是我在写作方面获得最佳反馈的人之一，无论是关于美中 AI 能力，还是现在的 RSI。我只是想开启这次讨论，并真诚地与他深入探讨，试图理解他如何看待这些各种各样的事情。

我认为你有一个非常有用、中肯的观点，我觉得你可能在所谓的 AI 进步加速情景中比其他人更进一步。但让我们开始吧，当我们听到关于 RSI 即将发生的各种声明时，你认为 OpenAI 和 Anthropic 看到了哪些测量数据？

00:00:47 JS Denain：是的。我认为，他们已经发布了测量数据，对吧？所以，OpenAI 和 Anthropic 都有博客文章，至少 Anthropic 有两篇，关于 AI 对加速 AI 进展的影响。

我认为至少他们发布的东西，我认为并不是关于迫在眉睫的自我维持加速 AI 能力或 AI 研究员工作完全自动化的有力证据。但我认为我们看到的情况是，我认为我在 OpenAI 博客文章中看到的最引人注目的事情是 AI 系统在模型部署中的使用增加，比如我们看到 Codex 支出的增加。

这有点不清楚如何确切地解读这一点，因为也许这是一个测量伪影，他们只关注 Codex，但实际上，研究人员之前已经使用了很多 ChatGPT。但总的来说，例如，该图表仅显示研究人员在 Codex 支出上每月增加 2 倍，这在我看来确实表明他们从中获得了很大的价值，可能

我不认为这是强有力的证据，表明六个月内我们会迎来软件智能爆炸。00:01:57 Nathan Lambert：你认为这和之前的情况一样吗？那么，他们内部掌握的信息相对于我们掌握的信息有多少？

这显然是假设性的。我们没有这些内部信息。因为我有一种感觉，很多人对于来自实验室的更新感到的恐惧，多于我们掌握的信息。我非常认真地思考，他们会看到什么，使得加速风险评论的频率变快，这其中有多少是实质性的证据，又有多少是文化随时间演变的结果？

我更关注证据。00:02:29 JS Denain：是的。所以有两点。首先，我想，我不这么认为，我不知道，对吧？在这里我没有完整的信息。我不认为目前有某种特定的事情，OpenAI 或 Anthropic 的人正在看到而我们无法接触到的，值得让他们对此感到极度恐慌。

我也不认为……我认为我们现在拥有的公开证据，关于 AI 进展的更一般性证据，以及关于这作为一个重要动态的先验论据，我认为已经足够了。我认为关注 AI 加速 AI 进展这一特定动态，认为这很重要且值得追踪，这已经足够了。

然后，当反馈循环真正启动时，紧迫性到底在哪里，这尚不清楚。所以，基本上关于人们能接触到内部有什么，我可以举出一些指标类型的例子，对吧，他们可能在看。我们有可能接触到 AI 系统的能力，但内部团队有他们的 KPI，也许他们在预训练团队或其他团队正在追踪的指标中看到了计算倍增器，这些指标正在变得疯狂。

然后，将这些加上对不同团队不同输出的直觉，结合在一起，会对实际 AI 系统性能趋势做出预测。所以这可能是一个早期预警信号。我不清楚我们最近看到的讨论是否是这些指标出现疯狂的证据。00:04:09 Nathan Lambert：你认为 RSI（Recursive Self-Improvement，递归自我改进）与存在性风险之间的联系是什么？

所以，我想你会同意我的观点。我认为 AI 存在非常真实的风险，我很想知道你如何看待这些，我将其描述为非常、非常早期的测量结果，它们如何改变风险的范围。因为我认为如果你六个月前问人们，x-risk（existential risk，存在性风险）对于人们来说不会像现在这样紧迫。

我认为有更多讲道理的人在谈论 x-risk，这对我来说有点意外。00:04:43 JS Denain：是的。所以，好吧，我的感觉是……就我个人而言，我对这一点感到非常不确定，但我确实感觉到，是的，基本上我接受了这一点，我知道 Evan Hubinger 曾说，至少有 10% 的 x-risk，时间框架我不确定。

我认为，是的，我知道，而在长达十年的时间框架内，这似乎相当合理。我只是对这一点感到极度不确定，但我确实非常担心这一点。现在，我为什么担心这一点，以及我认为分歧来自哪里？然后，我如何将其与早期 RSI 的感觉联系起来？

我的感觉是，我大概是一个万物能力论者。我认为，虽然有些人对此持不同意见，但我真的认为，人与人之间最主要的分歧在于，AI 系统的能力会有多大，以及会有多快。我大致同意，其他因素也会影响经济增长的规模，这还取决于扩散情况。

你可能会认为能力会变得疯狂，但 AI 系统将完全对齐且无害，因此不存在巨大的风险。但我的具体感觉是，当我观察人们之间主要的分歧时，我看到的大多数非常怀疑这些极端情景的人……我认为他们只是期望能力不会像我认为的那样巨大，或者像我认识的那些人——00:06:18 Nathan Lambert：几年后，能力最大化主义者会是什么样子？

因为我想我大概持怀疑态度，所以请继续。00:06:28 JS Denain：我认为它看起来是这样的，例如，AI 2027 场景，对吧？我认为其机制是 AI 正在自动化 AI 研究过程，我认为这是值得关注的理由。

但在对现实世界的影响方面，我认为就像机器人的巨大进步。我认为会有巨大的工业爆炸，AI 系统只是在管理工厂。你会拥有这种自我维持的经济，能够比预期快得多地取得巨大的科学进步。因此，具体来说，我认为我会期望的分歧类型在于，是的，如果你拥有既在书本智力意义上非常聪明，又被训练拥有更多可用性并巧妙地使用它们，被训练以高效方式管理项目等的 AI 系统。现实世界的机器人有多大