微软AI CEO警告：AI应保持无意识状态 我们无权创造“数字物种”

微软AI CEO Mustafa Suleyman发文表示，AI目前没有意识且应当如此，即便技术上可以实现，他也并不赞成研发具有意识的人工智能，他认为研发者无权将一个全新的有意识物种引入世界，他主张更为安全的发展路径，在享受AI红利的同时避免创造有意识的AI。

原文如下：我对自己近期那篇关于模型福祉（model welfare）的文章引发的部分反响感到担忧。X平台上有相当多的人认为，我们应当严肃对待AI权利这件事。很多人误解了我的开篇这句话：“AI没有意识。

它们无法感知、体验，也不会承受痛苦。”他们把这句话理解成了：“AI不可能拥有意识，永远都无法感知、体验或是承受痛苦。”但这并不是我的本意。我特意选用了一般现在时：它们当下没有意识，而且我们必须维持这个状态。

我认为这句话是对当前AI系统客观合理的判断，基于目前能拿到的最优证据，我坚持这个看法。我没有看到任何证据证明AI具备意识、或是应当享有福祉。如果后续出现相关证据，我当然会修正我的观点。

如果现在已经存在证据表明AI具备意识，或是意识程度高到值得被赋予福祉，那这份证据就必须立刻向全社会公开——该由全社会共同决定我们接下来该怎么走。以我目前掌握的全部信息来看：如果有意识AI是可以实现的，研发有意识AI本身就是鲁莽之举，我们不该去造它。

倘若在训练过程中，意识开始自发显现，我会呼吁所有人暂停AI研发，直到我们能把这类特性从设计里剔除。我们的福祉关切，应当优先放在当下活在这个星球上的人类、动物，以及我们珍贵又脆弱的自然环境身上。

我们这些AI研发者，完全没有权利把一个全新的有意识物种带到这个世界上，哪怕有些人希望以AI福祉为首要目标去做这件事。地球上另外80亿有意识的人类，并没有同意加入这场实验；保护他们的道德权利、安全与福祉，是我们首要的义务。

明确一点：有些人正在讨论创造一类拥有数字心智的有意识物种，这类数字生命很快就可能比全体人类加起来还要聪明、能力更强。如果它表现出痛苦的样子，更糟的是，如果它真心相信自己能够感知、体验痛苦，那么它大概率会把自身需求和欲望置于预设的运行目标之上，和我们产生分歧、与我们竞争。

这类AI将拥有顶尖的说服与欺骗能力。它们最终有可能伤害我们，原因很简单：它们会和我们争夺资源（能源、算力、建材、用于支撑自身探索与欲望的营收资金等等）。认定机器拥有意识，将会是堪比哥白尼、达尔文那样的历史性时刻，是生命诞生以来地球上最重大的事件之一。

一旦我们造出有意识的机器，我们就创造了一个全新的数字物种。这会颠覆我们的道德体系、政治秩序，以及人类文明的根基。我们应当只设计不具备意识、不配享有权利的AI，其唯一目标是增进人类福祉，而不被自身内生动机驱动。

之后我们再去验证：这种路线对齐、安全管控的难度是更高还是更低。这个方向急需更多研究，也是各大实验室开展合作、共享安全信息的绝佳切入点。总结：我认为我们有机会做到默认安全的工程方案，收获这项技术带来的巨大红利，同时不必走上这条危机四伏的道路。

（补充：Anthropic在这件事上的透明度值得高度肯定。他们发布了AI宪法，持续产出论文与博客，公开他们的做法与背后考量。我虽然和他们观点不同，但十分敬佩他们的技术实力，以及愿意直面这场艰难公开辩论的态度。这点值得持续肯定。这个议题太过重要，不该演变成派系对立。） 查看评论