“强化学习之父”理查德·萨顿：世界模型不应是低级物理模拟器，AI要像婴儿般自主进化

“强化学习之父”萨顿认为，对世界模型的定义存在误区。7月19日，在2026年世界人工智能大会（WAIC）的“思想者论坛”上，图灵奖得主、阿尔伯塔大学计算机科学教授理查德·萨顿（Richard Sutton）发表了题为《基于强化学习从经验中培育超级智能》的主题演讲。

萨顿认为，真正的超级智能必须彻底脱离人类的先验偏见，并全面介绍了自己最新提出的“OaK（Options and Knowledge，选项与知识）”架构。近年来，萨顿时常对大语言模型的发展路线持批评态度。

在演讲中，萨顿重申了他著名的AI研究文章《苦涩的教训》（The Bitter Lesson）。他直言道，AI研究者总是希望把“人类的知识”硬编码给AI，但从长远来看，这种做法反而阻碍AI的演进。

萨顿表示：“我们应该去寻找智能的底层基本原理，而不是被我们自身心智在特定世界中所产生的具体细节所误导。我们应该寻找基本原理，而不是具体的内容和细节......我们不应该试图把人类已经发现的规律构建进去，而应该让智能体自己去发现。

”在这个基础上，萨顿对“大世界”视角进行了定义。在萨顿看来，人类世界所熟知的“三维空间”或“物理学规律”，只是这个特定世界的内容。真正的AGI应当在“运行期（Runtime）”像婴儿一样自主摸索，仅依靠行动（Actions）、观察（Observations）和奖励（Reward）进化。

基于这种“大世界视角”，萨顿批评了当前行业将世界模型做成“低级物理模拟器”的误区，称这种理解“极其狭隘”，人类的转移模型（Transition Model）“不应该像低级物理学那样琐碎，而应该承载高阶的世界知识”。

萨顿解释道：“在我的理论体系中，我绝对不会把一个单纯的神经网络称为‘模型’，这是对这个词的滥用。我将‘模型’一词专留给转移模型，它应当包含人类对世界的所有高级知识。比如，‘如果我接受了这份工作，我会幸福吗’，这才是模型应该回答的问题。

”这就意味着，模型需要掌握“抽象能力”，即构建越来越宏大的行动与状态认知的能力。为了实现这种高级抽象，萨顿提出了OaK架构。其核心在于通过时间抽象（选项）与状态抽象（知识），让AI能够实现“跳跃式”的宏观规划。

在萨顿的OaK架构中，对于每一个与人类生活相关的状态特征，智能体都要学会一种去“控制和达成该特征”的技能。也就是说，智能体构建自身心智的核心手段，就是不断提出子问题，并通过“选项”去解决它，“把定义子问题的权力彻底移交给智能体”。

尽管OaK架构已经能够在理论上实现闭环，但萨顿坦言，目前还无法立即实现它，AGI的降临或许还需要5年、10年甚至20年。值得一提的是，就在本周，萨顿宣布与阿尔伯塔大学博士研究员Khurram Javed共同创立新公司Oak Lab，志在打破当前深度学习方式，用全新的理念构建AGI，开发能够通过自身第一人称经验独立、持续学习的AI智能体。