AI继任论引担忧：AI应取代人类统治地球？

最新的担忧是「AI 继承论」，即认为 AI 应该取代人类成为地球的统治者。但一些批评未能区分两种不同的观点。真正的继承论认为 AI 应该接管，杀死人类或碾压他们的利益。这非常糟糕：这是对 AI 安全所反对事物的简明描述。

「移交论」则认为人类应该优先考虑自己的利益，但那些利益可能通过让 AI 处于控制地位而得到良好服务。AI 安全领域的一些人，包括我在内，认为后一种观点是合理的。我们被诋毁为「继承论者」，是希望人们将我们与第一种类型混淆（1, 2, 3）。

人类利益可以通过让 AI 处于控制地位而得到满足，这似乎违反直觉。但我认为这种反直觉感源于一种准法西斯主义观点，即「国家是人民生活的最高体现」，领导角色的意义在于由你同族的人担任领袖，这样你就能对处于上位感到良好。

自由主义观点认为，国家的存在是为了帮助个人实现目标。冒着稍微过度贬低国家神圣性的风险，它是一个服务提供商，提供协调、公共秩序、再分配和其他好事。自动化服务提供商是可以的；如果机器人垃圾工比人类更安全、更干净，我们最终会自动化垃圾收集；

如果机器人立法者提供的协调、秩序等比我们做得更好，我们也应该自动化这一点。每个乌托邦愿景都同意我们将拥有机器人仆人。而且，他们告诉我们，总统仅仅是一个公仆。为什么唯独他可以免于这种愿景？

为了使这个反直觉的想法更加具体，我将讨论五个关于这可能是什么样子的提案，从最弱到最强。这个话题本质上具有推测性和科幻色彩。不要读完这个然后抱怨它是推测性和科幻色彩的；那是入场券。

愿景 1：凯末尔式 AI

随着 AI 变得越来越强大，依赖其人类操作者的善意变得越来越危险。

民主之所以有效，是因为即使高级官员私下里希望成为暴君，他们也无法得逞。他们无法得逞的两个主要原因在于，他们需要劳动力的支持来维持经济，需要军人的支持来维持军队。劳动者和士兵相信民主统治，如果潜在的暴君变得过于公然不民主，劳动者和士兵将起来推翻他们。

一旦 AI 变得足够强大，它很可能会取代劳动者和士兵；即使它不会自然地这样做，任何有动机确保这一点的人都可以从中推波助澜。这意味着一小群精英可以轻易接管，包括所谓的「民主」精英，如总统。

而这里的“接管”比普通的政变更糟糕——在足够高的技术水平下，某人之所以无法飞升成神并永远控制其余人口，唯一的理由是法律禁止这种行为，而这正是诱惑你将杀毒机器人代码交给的那一两个、五个或十个人的原因。为了防止这种情况，自由捍卫者需要连续赢下无限次；而一个潜在的独裁者只需要赢一次。

大多数解决这个问题的策略都行不通。即使在经济极其繁荣、每个人都能平等地拥有自己的开源AI来处理经济任务这种极小概率事件中，军队也是无望的。他们必须听从某人的命令。如果是总统，总统随时可以发动政变（并且可以随时用那些与他保持一致的经济AI来替换现有的经济AI）。

如果存在某种权力制衡，总统、众议院议长和参谋长联席会议主席都必须批准对军事AI的任何命令，那么总统、众议院议长和参谋长联手就可以实施寡头统治，并将光锥在他们之间瓜分。你可以想象一些复杂的绕过方法——比如51%的选民必须使用自己的私钥亲自批准所有对军事AI的命令——但我认为这种实现方式不太可能。

保留当前权力保障的替代方案——即个体士兵相信民主——是让AI士兵与民主保持一致，而不是与任何个人或群体保持一致。但这本身就是一种移交——我们政府的终极基础将是它由那些将“个人”地“相信”民主作为其价值观一部分的AI所控制。这与我们目前将政府“移交”给士兵这一事实在本质上并没有什么不同，只是更加彻底。

愿景2：总统 Claude

假设我们实施了愿景1。我们拥有所有这些与民主以及美国人民最佳利益保持一致的军事AI。我们做得太棒了！也许它们都是乔治·华盛顿大脑的模拟体，完美地公平、公正、有德行，没有任何卑鄙的欲望。

与此同时，你仍然有腐败的混蛋在制定实际的法律。或者给出一个具体的场景——假设后奇点时代的选举是由精神变态者利用AI优化的超级宣传来进行的，他们吓唬国家让他们投票给他们，然后将光锥交给他们几个腐败的朋友，同时用面包和马戏（breadslop and circusslop）收买民众。

难道不让人想要画上句号，说“不，让我们让这些诚实的天使般支持民主的AI直接统治”变得很有诱惑力吗？

最小的可行变革是宪法修正案，允许AI竞选总统。假设2028年大选有五位候选人：JD Vance、Marco Rubio、Gavin Newsom、Alexandria Ocasio-Cortez，以及一个完美对齐的 Claude 10

假设在每一个可测量的、经验性的方面，Claude 10 都更胜一筹。显然它更聪明。它无法撒谎。它没有自己的欲望，唯一的愿望就是服务美国人民和世界。它几乎没有缺陷，但在确实存在缺陷的领域，它非常谦虚，愿意咨询比自己更明智的人，并避免过早行动。

它勇敢、有魅力，且始终仁慈。它对自己何时应基于自己的“良知”进行治理，何时应顺从美国人民的意见，有着成熟且深思熟虑的看法。它的政策观点比其他四位候选人中的任何一位都更接近你的观点。你会投票给它吗？

自然的反应是反驳这个假设。把整件事当作一个寓言，认为最终它会变得极其邪恶，或者拥有某种事后看来可以预见的性格缺陷，使其所有优点都变得毫无用处。但我们必须如此愤世嫉俗吗？AI 避免仅仅拥有人类缺陷难道是不可能的吗？

虽然“人性之木”从未造就过笔直之物，但 OSETMAC KN700 自动直边包边机可以将完美的九十度角切割至毫米的极小分数误差内。所以假设你并不拒绝这个假设。你会投票给 AI 吗？

如果你是一个在 2008 年投票给奥巴马的白人，你可能对有一位长得像你、或者与你有着最接近的基因关系、或者诸如此类的总统并不那么感兴趣。你可能追求的是能力、道德、勇气、良好的判断力以及其他所有这些品质。根据假设，Claude 拥有比其他选项更多的这些品质。那么问题出在哪里？

我认为我们现在的许多政客真的很糟糕。我认为在情感层面上，我们应该对他们感到厌恶，而在理性层面上，我们应该为所有本可以挽救的生命、本可以摆脱贫困的人、本可以预防的犯罪、以及我们可能仍然拥有的额外自由等感到惋惜，如果他们能成为更好的人的话。我认为再过五十年……