Finn 与Max Li 交锋后，CoRL 现场投票反转

本文来自微信公众号： 42号电波 ，作者：小波，编辑：James，原文标题：《Finn 与 Max Li 交锋后，CoRL 现场投票反转｜CoRL 2026》11月12日中午，机器人学习会议（CoRL）的工作坊在奥斯汀JW Marriott的Brazos会场进入压轴辩论环节。

这场辩论的主题为「Do Robots Need World Models」。工作坊在官网将辩论拆解为四项动议：端到端策略能否内化机器人行为所需的预测结构；通用策略是否比通用世界模型更容易习得；

显式世界模型是否是可复现、可扩展的策略评估的必要条件；现有基准能否判断世界模型是否具备必要性。进入辩论现场，主办方把四条动议收拢，用同一个议题收集现场投票：机器人需要世界模型吗？正方立论：依靠世界模型预判动作带来的结果，是实现可靠、通用机器人行为的必要条件。

正方原话：Predicting the consequences of actions with world models is indispensable for reliable,general-purpose robot behavior.反方立论：可靠、通用的机器人行为，可以从依托观测历史、上下文和／或记忆的策略之中涌现。

反方原话：Reliable,general-purpose behavior can emerge from policies that use observation history,context and/or memory.本次辩论采用分配立场的形式。

支持世界模型与结构化路线的辩手，是来自NVIDIA的Max Zhaoshuo Li和来自达姆施塔特工业大学的Georgia Chalvatzaki。支持端到端、隐式路线的辩手，是来自斯坦福大学和Physical Intelligence的Chelsea Finn和来自麻省理工学院以及Rhoda AI的Vincent Sitzmann。

本场辩论由来自哥伦比亚大学、SceniX和World Labs的Yunzhu Li主持。这样的分组只为推动更为严谨的讨论，辩手的场上立场并不等同于个人观点，他们未必在每一项动议上都持有相同倾向。

Yunzhu Li开场举出围棋和倒水两个例子，阐释议题的张力。围棋拥有清晰完备的规则，很容易抽象出一套世界模型，依靠模型推演就能落子决策；而倒水任务恰恰相反，水流背后的流体动力学方程极难求解，很难搭建完整精确的世界模型，但机器人不必掌握这套物理规律，只持续观察水流状态，就可以顺利完成倒水。

辩论正式开始之前，工作坊现场发起预投票，多数参会者倾向认为机器人需要世界模型。先预测，或是直接优化Max Zhaoshuo Li首先发言。他将世界模型视作底层基础：智能体要先预判结果，才能选定行动。

他清楚反方的观点，也就是策略依托历史观测与记忆，就能收窄动作分布、输出合理行为，但他认为这套思路在现实场景中难以成立，处理复杂物体时更是如此。他以近年的编程智能体举例：智能体写完代码后，会运行程序并查看反馈，机器人的发展路径理应与之相似。

Chelsea Finn则从自身研究经历展开论述。她早在2016年就开展世界模型相关工作，当时这条方向让她十分振奋，被视作通往通用能力的可行路线。彼时训练得到的策略大多只能完成单一任务，更换任务就要从头训练，存在明显局限。

而以动作为条件的视频预测模型，已经展现出初步的泛化能力，可以适配训练阶段从未见过的目标。但到现在，她认为另一类模型已经实现零样本泛化：以语言或是任务视频作为条件、直接输出动作的基础模型，能够适配新物体、新场景，以及未曾出现的机器人与任务组合，并且已经落地到真实场景当中。

她的第二个论点围绕优化目标展开：优化应当对准我们真正关心的目标。搭建世界模型只是手段，最终目的是完成机器人任务。倘若可以直接在真实环境中，借助强化学习优化任务成功率，这便是打造可靠机器人最直接的路径，而可靠性正是当下这个领域最欠缺的能力。

Georgia Chalvatzaki接着发言。她提出，目前已经有能够落地部署的机器人策略，机器人却还没有普及到日常生活。在她看来，世界模型能够提升机器人的学习效率与效果，尤其适合应对陌生环境和充满不确定性的场景。

即便策略可以吸收记忆与历史信息，在可选动作模糊、或是失误难以挽回的情况下，机器人也应当先比对不同选择带来的潜在结果，再执行动作。她列举了世界模型的多项作用：生成训练样本；校验策略；

面对外观一致，但质量、摩擦属性不同的物体时，主动试探，例如加大推力，以此收集更多信息；任务失败之后开展反事实推理，推演更换动作是否会改变结局。她同时提出，不确定性应当决定机器人如何分配算力，以及策略评估的资源预算。

不同层级的决策，对预测细节的要求各不相同，因此学界需要重新审视模块化思路，跳出旧方案，寻找可以随算力扩容、同时支持预测和反事实推演的全新架构与算法。她也回应了Chelsea Finn：基于模型的强化学习在2016年就已经出现，过去遇到瓶颈，并不代表世界模型本身没有价值。

Vincent Sitzmann从务实和理念两个层面提出反驳。务实层面：世界模型最核心的两类用途，一是类似思维链，先在内部推演再执行；二是依托仿真环境预训练策略。对于前者，他认同Chelsea的观点，端到端训练或许就能实现同等效果；

对于后者，他并不认为真实环境中的强化学习存在天然短板。理念层面：世界模型，也就是过去所说的动力学模型，本质上是人类提炼出来的概念。人们习惯把它做成一个独立模块，固定输入与输出：输入动作和历史观测，输出对未来的预测，再嵌入整套系统运行。

但他认为物理智能不会以这种形式诞生。未来的智能体会朝着比单一机器人任务更宽泛的目标优化；如果世界建模本身具备价值，它会作为智能能力的一部分自然涌现，不需要人为搭建一个输入输出预先定义好的独立模块。

就算思维链机制确实有效，也不等于我们要专门构造一个独立的思维链组件。后训练会不会收窄模型能力Max Zhaoshuo Li将矛头指向后训练。他的观点是，后训练会压缩输出分布，让模型收敛、偏向特定任务，代价则是应对各类变化的稳健性下降。

在他看来，我们终究离不开一类模型：既能读懂任务意图，又能预判动作落地之后会产生怎样的结果，这是通用智能体必备的基础能力。Chelsea Finn回应，将训练收敛到单一任务，很多时候只是研究上的取舍：在固定场景与领域内验证算法会更加简便。

她预判，未来的后训练会走上和语言模型相似的路线，在更广阔的范围内开展，覆盖大量任务与环境，同时维持高性能，并且不必依赖世界模型。她以纸风车组装任务举例。这项任务后来被蒸馏进基础模型，而在此之前，她已经针对该任务完成过后训练。

其中一个关键步骤，是把销钉穿入纸片中心的小孔，训练数据只记录了用右手完成插销的方式，属于非常局限的单一策略。在回看评估视频时，她发现机器人不慎将销钉掉落在桌面左侧。随后，它用右夹爪固定纸片，再用左夹爪拾起销钉，顺利完成插接。

无论是后训练数据还是预训练数据，都没有出现这种左右手配合的对称操作。即便模型在后训练中收敛到狭窄的单一策略，它依旧保留了泛化能力，可以灵活选用左手或是右手。她以此说明，分布收敛并不等同于通用性消失。

Georgia Chalvatzaki从动物认知切入展开反驳。她提到当天上午分享的动物解谜案例，不少相关研究都证明，动物会借助前向模型完成预测，再基于预测做出选择；随着经验不断积累，不确定性逐步降低，相关知识会内化成为策略，转化为本能行为。

因此，正方并不否定策略本身的价值。她提出疑问：当智能体能力更强、需要与人交互，同时还要服从各类约束时，我们难道不需要一套能够预判自身动作影响的系统吗？她认为视频模型已经沉淀了丰富的先验知识，可以在抽象层面引导机器人决策，支撑反事实推演。

单纯堆砌数据、扩大模型规模远远不够，学界还需要思考如何设计效率更高的架构。Vincent Sitzmann则聚焦学习型世界模型的覆盖边界。经由训练得到的模型，只能拟合曾经见过的现象，上限受限于自身泛化能力。

落地到真实机器人上，世界模型需要依托智能体源源不断的交互经验进行在线学习，但目前还没有任何系统可以在真实环境稳定实现这一点，深度学习领域尚且不存在能够可靠在线学习的方案。一旦大规模开启在线学习，世界模型本身就会依附于策略，因为它的训练数据全部由策略交互采集而来。

到这时，策略和世界模型的边界会变得模糊。所以他主张把二者作为一个整体看待，不适合拆开单独讨论。现场有观众向Sitzmann提问：视频规划器可以生成轨迹、预判特定环境下动作执行的结果，它是否属于世界模型？

他认为这里存在语义界定的问题。视频规划器并不是纯粹的动力学模型，它和策略深度耦合。如果追求严谨的数学定义，就必须区分模型何时独立、何时由策略决定；按照这套标准，视频规划器更贴近智能体的策略。

但他同时承认，在视频规划器之上微调，就可以得到以动作为条件的世界模型，二者共享大量底层模块，视频规划器本身也必须对动力学规律建模，从这个角度来说，它同样在处理动力学问题。沙箱评估与真实环境的取舍Yunzhu Li首先向正方提问。

他说自己常鼓励学生研究世界模型，但学生常会提出质疑：世界模型的构建难度极高，仅凭采集示教数据训练得到的策略，就已经能在真实环境中完成不少有价值的任务；况且最终的评估环节始终要放到真实环境里进行，那我们为什么还需要世界模型？

Georgia Chalvatzaki认同当下训练世界模型确实困难，行业至今还没有成熟可靠的方案。在她看来，一部分原因在于预测目标本身就没有定论，显式预测未必是正确的路线。她始终认为，模型应当作为工具，服务于不同层级的决策，而现阶段训练模型所选用的抽象层次或许并不合适。

她举了一个例子：如果要搭乘电梯返回房间，人脑只需要粗略推演路线，即便存在不小的不确定性，也足以支撑规划，再在行进途中持续修正判断。由此而言，为完整流程搭建一套完备的数字孪生，并不一定是做出可靠决策的必要前提。

她提到思维链是在特定空间中建模的一种形式，但如何融合语义理解与几何信息，并以此生成连贯行为，仍然是悬而未决的问题，我们还需要重新思考表征方案。Max Zhaoshuo Li接着作答：世界模型与策略本质上都在对状态转移关系建模，二者不必拆分为两套独立系统，可以整合为一体。

他以语言模型类比，在任务条件下生成的每一个文本token，都相当于在完成这类状态转移的建模。随后Yunzhu Li转向反方提问。他回忆，两年前和自然语言领域的同行交流，当对方开始着手智能体研究时，才体会到具身研究独有的难点：智能体需要和环境持续交互，评估必须放在闭环当中完成。

如今很多大语言模型智能体团队搭建了大量闭环工作流与沙箱用于评估。他对比过两种评估方式：如果要分辨成功率为90%和92%的两个模型检查点，真实环境评估和沙箱评估之间，效率相差好几个数量级。

既然基于世界模型的沙箱已经在智能体评估中取得很好的效果，反方对此如何看待？Chelsea Finn回应，如果想要依靠学习得到的世界模型提升评估效率，这套模型必须能够刻画任意动作分布带来的结果，这就要求它对各类动作分布拥有足够的覆盖度。

举个例子，往酒杯中倒酒，它要模拟液体的流动；如果酒杯不慎摔落，还要还原碎片飞溅的全过程。但训练策略只需要隐式掌握一部分动作对应的结果。在强化学习的训练过程里，智能体会尝试一部分成功动作、一部分失败动作，探索方向具备针对性，在优化循环中可以快速收敛到可行动作，不需要在真实环境中穷尽所有动作做评估。

因此，先绕路训练一个能够覆盖全部动作的世界模型，会比直接在真实环境优化策略、只处理优化过程实际遇到的动作更慢。她把核心矛盾总结为：世界模型的学习难度整体高于策略，二者的区别在于，前者需要容纳全部动作，后者只需要覆盖训练过程中接触到的动作。

Vincent Sitzmann的观点承接Chelsea。他认为建模范围最终取决于学习任务与目标。如果预先划定边界，硬性要求模型对指定动作、指定状态都保持稳健，这条路很难走通；更合理的方式，是让智能体自主决定世界模型的建模范围，以及应当采取哪些动作。

预测后果是否等同于世界模型现场观众提出不少围绕定义的疑问。Yunzhu Li代为转述：在像素空间或是潜空间中预测动作带来的后果，算不算世界模型？如果同时还会预测动作本身，又算不算？

Max Zhaoshuo Li率先开口，打趣谁先作答，事后多半会受到质疑。他的判断是：只要在对行为后果建模，就属于世界模型。训练策略的过程中，很多时候也暗含对后果的建模；如果把模型放到环境里试探就能观察到这类迹象，它会主动避开某些策略，转而尝试别的方案。

在他的理解里，这就是世界模型的核心定义——理解行为会带来怎样的结果。他还提到，对他而言，学习世界模型比学习动作策略难度更高，因为它需要同时理解有利动作与有害动作各自的后果，这也是更有研究价值的方向。

Georgia Chalvatzaki再次提到，构建世界模型本身难度极大，而且当下我们的训练思路并不合适。人类幼年很长一段时间都在无目标地玩耍，这份行为大多由好奇心驱动，而好奇心来源于获取信息、补足认知的内在诉求。

她认为，机器人智能同样可以从这种和世界的自由交互中生长。强化学习虽然能让智能体完成指定任务，但得到的往往是偏向当下目标的贪心策略，很难产出多样化的备选方案。如果能够通过主动干预、探索不同可能性，脱离任务目标去训练模型，智能体才有条件在后续遇到新情况时尝试别的路径。

Vincent Sitzmann依旧从覆盖范围切入。就算是人类，也不可能为每一个潜在动作预先推演全部结果，想要做到这一点，所需要的数据规模会达到不切实际的程度。在深度学习框架下，模型的一切能力都源自数据，其中也包括生成数据的方式；

我们很大一部分工作，其实就是筛选数据，或是设计挑选数据的算法。倘若对全部动作采用均匀先验，就意味着要穷尽采集所有场景的数据，这条路很难走通。最后，Yunzhu Li请每人简短说说真实看法。

Max Zhaoshuo Li说，他心里的世界模型指的是真正理解每个动作的转移动力学，和以动作为条件的视频生成模型是两回事。在他看来，这是任何策略评估的基础。Georgia Chalvatzaki说，视频模型也许能提供一个不错的起点，但关键是真正理解物理，解开这一步之后，才能进一步做反事实预测。

这个问题很难，需要更深入地想；与此同时，大家在推视觉-语言-动作模型（VLA）的极限，看能走多远，而背后也得做另一条线的研究。Vincent Sitzmann说，技术上，什么管用就用什么，它能帮评估、帮所有事；

这是应用科学，是工程问题。哲学上，他不认为物理智能到来时，会带着一个由我们先定义状态空间、再以动作为条件做预测的世界模型；如果智能体如他所料能预测自身动作的后果，那会作为副作用涌现出来。

Chelsea Finn说，世界模型是值得探索、也很有意思的研究课题，其中一些部分会对开发模型非常有用。比如，不必捕捉所有可能交互的仿真，对评估策略会非常有用，也可能在一定程度上改进策略。

但要说严格必需，她认为不太可能；它们也许能让我们更快走到那里。整场辩论的核心分歧，最终收敛到一个可验证的问题：模型究竟需要覆盖多少种动作。Finn和Sitzmann的观点是，如果要求世界模型对任意动作给出可靠的预测结果，覆盖范围与数据成本都会过高；

直接优化只需要处理优化流程里实际遇到的动作，就算世界建模能力有用，也可以从更通用的目标当中自发形成。Max Zhaoshuo Li和Chalvatzaki则认为，当身处陌生环境、不确定性很高，并且需要比对不同结果、做反事实推演时，只会输出正确动作的策略并不够用。

Chalvatzaki同时承认，目前还没有成熟可行的方案，症结或许出在表征抽象方式和训练范式上。双方在评估这件事上立场最为接近。主持人抛出沙箱评估巨大的效率差异之后，Max Zhaoshuo Li将世界模型称作策略评估的基础，而Finn在收尾阶段也认同，不用覆盖全部交互的仿真，对策略评估很有帮助。

二者的区别在于定位：反方把它视作能够提速的工具，正方则将它看作通用智能体不可或缺的底层能力。想要分出孰优孰劣，就需要在陌生物体、真实环境中对照测试：在同等数据与算力条件下，搭载显式预测模块的系统，和直接优化得到的策略，谁拥有更高的可靠性。辩论结束后，现场再次投票，结果发生反转。