AI安全并非企业阴谋

Anthropic 和 OpenAI 等人工智能公司长期以来一直提到其产品可能带来生存威胁的可能性，但最近这种声音已经演变成更加可怕的警告，包括暗示我们必须放慢前沿发展速度，即协调放慢人工智能的进展。

作为回应，愤世嫉俗的评论员暗示这是一场旨在推高公司股价的阴谋。被推测的具体动机因人而异。有人说，这些公司通过谈论产品有多危险来为其进行炒作；如果人工智能聪明到足以杀死所有人类，那它一定也聪明到足以胜任你的业务工作流。

还有人说，他们试图转移人们对近期危害的注意力；每有一英寸的报纸版面用于报道人类灭绝，就少了一英寸用于报道剽窃和水资源消耗。但最受欢迎的说法涉及监管俘获：如果产品是不安全的，也许它只能交给少数几家有政治背景的大公司信任，而其他人则应该被禁止。

许多关于人工智能的争论复杂且难以解决，但这一争论并非如此：所有这些说法显然都是假的。一些证据如下：

与大公司没有关联的人工智能专家和与大公司有关联的专家一样担忧。

发出这些警告的人工智能公司领导人在他们拥有人工智能公司之前就发出过完全相同的警告——而且在许多情况下，是在他们进入该行业之前，或者在行业存在之前。

如果这些企业阴谋是真实的，它们将会极其愚蠢。

按顺序逐一来看：

I. 与大公司没有关联的人工智能专家和与大公司有关联的专家一样担忧

Grace 等人调查了 1,580 名在大型人工智能相关会议上发表论文的人工智能研究人员，其中大多数是没有公司背景的学者。半数以上的人认为，人工智能导致“人类灭绝或人类物种受到同等程度的永久且严重的剥夺”的几率至少为 10%。

72% 的人表示，我们需要更多地优先考虑人工智能安全研究。这项调查是在 2024 年进行的；目前的数字可能会更高。Geoffrey Hinton、Yoshua Bengio 和 Yann LeCunn 因发明深度学习而被共同尊称为“人工智能教父（the godfathers of AI）”；

2018 年，他们因这一成就获得了有时被称为计算机科学诺贝尔奖的图灵奖（Turing Award）。2023 年，Geoffrey Hinton 辞去了 Google 的工作，全职致力于提高人们对人工智能潜在生存危险的认识；

他表示，他的发明摧毁人类的几率“在 10% 到 50% 之间”。同年，Yoshua Bengio 也转而从事社会活动，称他“对自己一生的工作感到后悔”，并且人工智能可能会产生“灾难性的影响”。两人都没有隶属于任何主要的人工智能公司。

（第三位教父 Yann LeCunn 经营着一家价值 30 亿美元的人工智能公司，并表示他并不担心）

除了这些独立研究人员之外，还有许多其他人曾在大公司工作，后来辞职以揭露这些危险，或者离开以全职从事反人工智能的活动。

. Paul Christiano 于 2021 年离开 OpenAI，创立了一个人工智能对齐（AI alignment）非营利组织；他后来表示，“在你们拥有达到人类水平的人工智能系统后不久，毁灭的几率是 50/50。

” Daniel Kokotajlo 于 2024 年从 OpenAI 离职，拒绝签署一项可能让他损失 200 万美元股权的不得贬损条款（non-disparagement clause），转而创办了一个旨在警示人工智能风险的非营利组织（他称他认为人工智能有大约 80% 的概率杀死所有人）。

Jacob Coxon 于 9 月从 Anthropic 离职，同样可能放弃了数百万美元的股权，因为他认为这是在“拿我们的生命赌博”。还有其他几十人。人工智能公司里的人发出人工智能危险警报的可能性，并不比从未在人工智能公司工作过的人，或者以前在人工智能公司工作过但后来离职的人更高。

II. 发出这些警告的人工智能公司领导人在拥有人工智能公司之前很久就已经对此感到担忧了。DARIO AMODEI 早在 2013 年就开始讨论超级智能毁灭人类的风险，当时 OpenAI 或 Anthropic 尚未成立，而且 Amodei 当时根本没有在科技行业工作。

以下是 Amodei、Eliezer Yudkowsky 以及其他人工智能安全爱好者于 2013 年 10 月 27 日就战略问题展开的一场长达 62 页的辩论：

2017 年，当 Amodei 还是 OpenAI 的一名普通员工时，他在播客 80,000 Hours（2017 年 7 月 21 日）上谈到了他的工作：

我主要从事安全工作。我们有一个安全团队，目前由我和 Paul Christiano 组成。Paul 是我论文《人工智能安全中的具体问题（Concrete Problems In AI Safety）》的共同作者，他还在自己的博客上写了大量关于人工智能的网络文章。

他可能是我认为在推动对该问题的清晰思考并将其与当前人工智能联系起来方面做出最多贡献的人之一。几周后将有第三个人加入，我对此超级兴奋。我们正试图建立一个专注于技术安全的团队。我们还做一些战略方面的工作，比如我们如何让致力于人工智能的不同组织相互合作，我们如何就诸如此类的问题与政策制定者合作。我们也在思考这些问题，但主要还是技术安全。

Dario 详细阐述了合作的观点——他告诉主持人，他担心人工智能会导致一场“军备竞赛”，各大公司在竞赛中竞相率先开发该技术，从而忽视了安全。他的解决方案是让公司进行合作：

我们都考虑过通用人工智能（AGI），并认为安全问题很重要。……然后问题是，这如何扩展到有很多组织存在的情况？当其他人看到人工智能有多强大并参与进来时，这又该如何扩展？我们能让他们也合作吗？我的希望是我们可以。

这成了他的一种执念，他聘请了一位顾问来帮助 OpenAI 解决这个问题。据《纽约客（The New Yorker）》报道：

2017 年，Amodei 聘请前公益律师 Page Hedley 担任 OpenAI 的政策与道德顾问

在一份早期向高管们展示的 PowerPoint 演示文稿中，Hedley 概述了 OpenAI 如何避免一场“灾难性的”军备竞赛——或许可以通过建立一个 A.I. 实验室联盟，最终与类似于北约（NATO）的国际机构进行协调，以确保该技术的安全部署。

正如 Hedley 回忆的那样，[OpenAI 总裁 Greg] Brockman（[OpenAI president Greg] Brockman）并不理解这如何能帮助公司击败竞争对手。

“无论我说什么，”Hedley 告诉我们，“Greg 总是一直回到‘那么我们如何筹集更多资金？我们如何赢？’这一事件以及其他几起类似事件让 Dario 开始反对 Greg，从而导致了一个充满勾心斗角的办公室政治时期的到来。

Dario 领导了一个亲安全派系，对抗 Greg 的亲商业派系；Greg 通常都会赢。Dario 焦虑到近乎偏执的地步，不断坚持认为他们的工作太危险而不能发布，这对此毫无帮助：Sam Altman 试图通过向 Dario 承诺各种妥协来扮演调停者的角色，但最终 Dario 发现 Altman 经常撒谎，从未兑现过任何承诺，于是他和安全派系的其余人员离开并创立了 Anthropic。

以下是《财富》（Fortune）对此次分裂的描述：Amodei 与一小群员工开始关注 OpenAI 的方向，以及他所认为的在扩大 ChatGPT 规模过程中缺乏安全性的问题。

2021 年，Amodei 与他的姐姐兼联合创始人 Daniela Amodei 以及其他十几名前 OpenAI 员工共同创立了 Anthropic，其使命是将安全放在首位。该公司于 2023 年发布了其大语言模型 Claude。

Amodei 在 2023 年的《财富》头脑风暴科技大会（Fortune Brainstorm Tech conference）上对《财富》（Fortune）的 Jeremy Kahn 表示，从 OpenAI 跳槽的员工坚信两件事。

首先，他们相信如果你向大语言模型投入更多的计算能力，它们将得到极大的改善，并且它们的先进程度几乎是没有止境的。其次，他们相信——除了扩大模型规模之外——还需要有一套强大的护栏和安全考量。

SAM ALTMAN 在 2015 年 2 月——也就是他创办 OpenAI 十个月前——曾表示，“超级人类机器智能的发展可能是最伟大的威胁