我预计AI将快速进步，但不会通向通用超级智能

我经常听到工业界顶尖研究人员说，AI 在几年内就会比他们更擅长本职工作，这让我感到惊讶，而我也并不真正知道自己为何对此持怀疑态度。我得出的解释是，研究人员们看到了模型在基础设施和工程能力上的巨大加速。我完全同意，在几年内，模型将成为超人类的分布式 GPU 工程师。这将使对模型配方进行实验和调试变得容易得多，但并不会在本质上使我们的模型发生显著变化。

在某些方面，Ilya（伊利亚）宣布 AI 进入研究时代时已经算是早了。有了编码代理，如今的研究要容易得多。这种容易源于一种不同形式的工作，它灵活且引人入胜，这标志着这样一个时代的开始：在软件领域，好的想法可能比好的执行更有价值。

订阅

我们正处于这条道路的早期阶段。这也是该领域看到的第一次转变，即关于 AI 更偏向于“研究”还是“工程”的平衡转移。在深度学习兴起之前，AI 也更多地是一项研究工作。如今，顶尖研究人员众所周知地通过在复杂基础设施中实施和扩展其想法的能力来评判。

我们即将在未来几年经历一次巨大的加速，而瓶颈将越来越少地是工程问题。有些人称之为 RSI，但更接地气的说法仅仅是“并行化、AI 辅助的语言建模”。你不需要接受起飞场景也能清楚地看到基础设施改进即将到来，以及这将如何改变 AI 工作的性质。

本文的目的是概述为什么这种工程加速会发生，并触及它无法完全解决的问题。即使我们在数学和编程之外没有获得具有经济价值的超人类特质，这也将是技术向经济扩散的巨大福音。许多近期的进展来自于利用当前工具扩展我们的推理时计算，而不是模型在研究能力上的巨大飞跃。

许多 AI 训练和推理栈的组件都是高度可验证的。训练指标如每 GPU 每秒令牌数，这仅仅是训练速度。推理指标如每提示令牌数、每令牌 FLOPs，或者实际上只是每答案成本。这两者都非常容易优化，尤其是当存在可以改善它们的既定子问题和架构权衡时。

我预计 AI 代理将在几年内帮助端到端地优化这一过程，使我们的推理能力非常接近 GPU 等加速器上可能实现的底层最大计算能力。在过去的几年里，公司在推理效率上已经取得了巨大的收益，例如在宣布特定价格点后，服务模型的成本降低了 10-30%。

这一整条技术栈都将产生累积效应，我预计未来几年模型智能的有效成本将呈近指数级下降（可能比近期趋势更快）。这一效率方面的“低垂果实”只需几年时间即可被攻克。长期来看，则是加速器与模型在更长周期内的协同设计，这将在灵活的 GPU 平台基础上再带来几个数量级的效率提升。

在效率快速提升的这段时期，GPU 的灵活性应当是王道，因为架构探索空间显得至关重要，且像是自动化研究的一个主要杠杆。我认为，在 2-3 年内，至少在架构和数据选择方面，以服务于我们当前这一类模型为目的的预训练研究实现自动化，这一预测是合理的。

所有这些都将是对智能体模型的 Jevons 佯谬的巨大触发因素。我预计需求只会增加，因为行业在很大程度上受困于寻找更好的引导和交付智能体的方式。Meta 的 Muse 智能体是这一趋势的早期指标，我们应该期待针对不同受众和目标用例出现更多类似 Muse 的体验。其价值在于理解智能体如何运作，而非推动性能的极限。

在生物学和化学等更广泛的科学文献中，相应的阶段将是一个由模型发现大量跨学科发现所定义的时代。AI 模型在爬取文献和连接目前由很少互动的小型科学家群体管理的稀疏网络方面具有超人的能力。这将是在 heralding 一个科学发现的新时代（例如治愈大多数癌症），还是加速科学原本的发展轨迹之间的一条微妙的界限。

另一个工业级的“低垂果实”是改进通用强化学习（RL）环境的质量。你不必走远就能看到另一家新的 RL 数据公司营收已突破 1 亿美元或 10 亿美元。这样的公司远超我的预期。该领域的平均输出质量 remarkably 低。无数研究人员都同意，他们购买的很多东西坦率地说就是垃圾。与此同时，领先的实验室也看到了购买数据的明确投资回报率。

许多 RL 环境之所以粗糙，显然是可以修复的。Read more