单一来源
当前只有一个可用来源,尚未完成多源交叉核验CoRL 2026 青年最高荣誉唯一华人得主清华赵行:「世界不会等模型」
时间是决定人形机器人量产的关键一环。 作者丨邓哲敏 编辑丨齐铖湧 此时此刻,美国奥斯汀,机器人学习领域的顶会 CoRL 2026 正在如火如荼地举行。清华大学交叉信息研究院助理教授、星海图 CTO 赵行,在这届大会主会场上登台,发表了 Early Career Keynote 演讲(青年成就奖)。
与动辄万人规模的 AI 大会不同,CoRL 是泛具身领域极其严肃专注的顶会,台下坐着的几乎全是这个星球上最懂机器人学习的学者。Early Career Keynote 须同行提名、不得自荐,专门授予博士毕业十年内、已在机器人学习领域留下实质成果的年轻研究者,被视为该领域对新星研究者最高规格的认可之一,也是每年 CoRL 为主会场定调的重头戏。
今年全球仅有三位学者获此殊荣,而赵行是其中唯一的中国面孔。站在台上的赵行,一方面串联过往的学术历程,讲述了自己从学术到产业的思考,另一方面,面对近期 GPT-6 Astra 接入机器人引发的行业焦虑,用一套极其严密的“时钟理论”,戳破了当下具身行业里不计时间成本制造出的基准测试幻觉,给了具身行业一个耳目一新的思考角度。
AI 科技评论(雷峰网)在现场全程记录了这场演讲,并结合赵行的学术研究路径,给大家带来这位中国顶尖年轻研究者的观点分享:01时间是决定人形机器人量产的关键一环今天我想谈“机器人的时间”:机器人智能应当如何在不同的时间尺度上组织起来。
我从 Waymo 的轮式自动驾驶起步,七年前发表了第一篇 CoRL 论文;然后转向有腿的机器人,花几年教四足和人形机器人奔跑、跳跃、征服复杂地形;现在做带手臂的机器人。归根结底,我们希望机器人替人类做真正的体力工作。
昨天我抵达奥斯汀,街上到处是 Waymo 和 Cybercab。对从自动驾驶起步的人来说,这感觉很好——驾驶已进入量产。人形机器人也能做到吗?今天我分享答案的一部分,它与时间有关。
最近 GPT-6 Astra 发布,几天内人们就把它接入自己的机器人,发现直接能用。NVIDIA 研究者在 RoboLab-120 仿真上做了细致研究:Astra 任务成功率 66%,π0.5 只有 28%。
在另一个基准 RoboDojo 上结果类似:Astra 22 分,π0.5 仅 7 分。这很惊人,我相信领域里很多人还没准备好。但有个问题:这些基准不测时间。Astra 用的是直接策略,直接控制机器人。
仔细看,每次调用基础模型要 18 秒,机器人 97% 的时间在等模型思考。但现实中,机器人等不了模型思考这么久。前沿模型非常好,我们该怎么用?为了弄清楚这事,我在家庭厨房仿真器 RoboCasa 里做了受控实验:5 个机器人从未见过的测试厨房、5 项任务,每项限 50 秒。
我试了五种控制方式:一是编程策略,让前沿模型理解任务后写代码,部署时程序直接跑,不再调模型;二是编程加询问,代码运行时失败就向模型求助,平均每回合只调一次;三是编排策略,前沿模型调度不同技能,每回合约调 4 次;
四是直接策略;五是智能体策略,每步可控机器人、可调用工具计算,更费 token。如果不限制思考时间,这些方法表现都不错:除编程策略 45% 外,其余成功率都超 60%。但加上真实时钟就完全不同了:直接策略和智能体策略成功率分别跌到 15% 和 20%。
这告诉我们,慢模型没问题,只要它与 System 1 结合,比如编排策略用小神经网络技能处理高频控制。正如赵行所说,自动驾驶已然量产,而人形机器人似乎还在另一个时区。那么,自动驾驶有什么经验可以迁移?
也许需要铺垫一段赵行的背景,大家会更明白他所希望表达的。早在 2015 年的 MIT Media Lab,赵行就参与开发了世界上首个自动驾驶课程 Duckietown 的实践项目,也是在那时,他主动申请去做机器人课的助教,跟着韩国学者 Sangbae Kim 捣鼓 MIT Cheetah 猎豹机器狗。
在与 AI 科技评论此前的对话中,赵行提到一个细节,那时候机器狗极度脆弱,上个飞机要走货运,去一次展会光维修和运输就要烧掉 3 万美元。这段经历让他比任何人都清楚:实验室里的 demo 和产业级的产品之间,隔着一道名为“鲁棒性”的深渊。
因此,当他在演讲中指出大模型直控的成功率会在真实时钟下暴跌时,这绝非纸上谈兵,而是他的真实经验所谈。02时钟定义层级层与层的界限该画在哪里?老派答案按功能划分:感知、规划、控制。我主张另一种答案:时钟定义层级,在时钟变化处画线。
这里讲 System 0/1/2,指的不是思维层面的快慢,而是时间尺度上的层级。判断一件事属于哪层,要分两步。先问这一层必须对什么做出反应,这决定时钟要多快;再由时钟决定层级。System 2 要利用过往经验理解当下,时钟以秒到分钟计;
System 1 要以交互发生的频率响应机器人手与物的相对运动,几十赫兹;System 0 要跟踪接触与力,所以必须几百赫兹。我在自动驾驶时遇到过同样棘手的问题。我们把 VLM 装进车里,发现它理解场景能力惊人,能看懂学校区域、减速等孩子过马路,但它无法即时响应驾驶任务。
于是我们把慢 VLM 和快驾驶栈装进同一辆车,这套系统如今已大规模跑在量产车上。我从自动驾驶得到的经验是:让快的层开车,让慢的层思考,各走各的轨道。2023 年我们的四足机器人从视觉中学跑酷,随后做到全尺寸人形,今年实现全身跑酷——手脚并用攀爬、与环境交互。
自己读深度、毫秒级反应,整个系统就是一个 System 0。跑酷给我上了第二课:反射必须住在快的层,且这一层要独立完成从感知到动作的全部事项。但现实更复杂,一个任务往往需要多层配合。
试想几个场景:工业装配线,固定重复,只需 System 0;物流分拣,任务固定但每个包裹不同,需要很强的 System 1;餐厅服务,要交谈、下单、端盘子,三样都要一点;做家务,任务定义复杂、跨度大,需要很强的 System 2,但速度可慢,System 1 和 0 稍弱即可。
这套分层系统还有两个关键问题要解决:每层如何快到跟得上自己的时钟?层与层之间传递什么?这段分享中,赵行并没有否认大模型应用于具身智能的可能性,相反,他认可前沿模型的能力,试图通过解决时间延迟来更好地组织各类模型。
“让快的层开车,让慢的层思考”,这套具身思路并非仅仅停留在学术领域。2019 年,赵行从 MIT 博士毕业,加入 Waymo,亲历了自动驾驶从实验室走向规模化量产的过程。2020 年下半年他回国加入清华叉院,从四足跑酷一路做到带臂操作,把视觉感知与全身控制推向极限运动的难度级别。
据AI 科技评论了解,赵行曾和与小一届的师弟王轶伦多次聊起自动驾驶的痛点。两人基于共同的技术嗅觉,自下而上地促成了后来与理想汽车的合作。当时全球打通数据闭环的车企屈指可数,而理想的工程基建为 DriveVLM 提供了土壤。
对此,赵行曾剖析过其中的区别:L2+ 级别或许能靠小模型的端到端肌肉记忆应付,但 L4 级别必须依赖大模型解决长尾问题。于是,DriveVLM-Dual 快慢双系统应运而生,大模型负责慢思考,传统规控负责快响应,如今这套方案已经实打实地落地超过 40 万辆量产车。
这也是为什么当他在 CoRL 讲台上抛出时钟定义层级时,台下的工业界同行会非常认同。03让每一层快速运转的三项工作先谈第一个问题:让每一层都足够快。今天的 System 1 普遍太慢,跟不上几十赫兹,原因有三个,且都源于模型的出身。
其一,若你的动作模型基于视频生成模型,你会知道视频生成其实很慢,生成 5 秒高清视频要 2 到 3 分钟,无法上机。其二,若你的 VLA 基于 VLM,则文本推理动辄 5 秒,对控制不可承受。
其三,几乎所有工作——VLA、扩散策略、动作模型——都先解码整条动作块再执行,白白等待。我们有三项工作分别应对。第一,Fast-WAM。世界动作模型往往在行动前先生成未来视频。Fast-WAM 让视频模型与动作模型共享权重,训练时只做一点注意力改动——训练时想象,测试时可以跳过,提速 4 倍以上。
今年我们有了更强版本,参数量从 5B 扩到 16B,采用混合 Transformer 架构,优化后在 RTX 5090D 上每个动作只要 60 毫秒。第二,G0.5。这是我们星海图自研的 VLA 模型,以视觉和文本为输入,把任务、边界框、动作轨迹写进同一条离散 token 流。
在同一组模型权重上,我们可以简单地开启或关闭推理。结果令人惊讶,90% 的任务上,有无推理成功率完全相同;跳过推理,速度快一倍;推理只在长程任务上有用。第三,ActionCodec2。
动作分块带来的成本,是必须等整条动作轨迹生成完毕才能开始执行。这段动画来自我们的工作,画面中机械臂在追踪一个不断移动的方块。左边是分块 tokenizer,策略必须先解码完整的一块动作,机器人才能移动,因此它只能在块与块的边界处看到方块的位置。
想更及时,就得解码全新的一块动作。右边是流式动作 tokenizer,每个 token 都是一小段运动,机器人一收到就立刻执行,所以它在每一步都能感知到方块的位置。注意看结尾,分块那侧的手臂跟丢了,流式那侧的手臂抓住了。
这就是我们所说的流式动作组织方式,用它,我们就可以构建一个流式 VLA。这一段,赵行介绍了很多团队成员的工作,他作为一名年轻老师,能在学术界提出理论,又能在产业界和团队一起交出 Fast-WAM、G0.5 这样硬核工作,在我们看来,离不开他此前在 Waymo 时期受到的极限锤炼。
2019 年他加入了刚成立研究院的 Waymo。那里人才济济,bar 极高,坐在他左边的可能是 PointNet 的作者祁瑞中,管理级别最高的周寅做过 VOXnet。在那个扁平且鼓励跨界合作的体系里,他遇到了比自己早两个月入职的高继扬。
高继扬既能交付产品又能做研究,“一个人干俩人的活”,两人跨三个组合做出了引领行业的 VectorNet。2023 年上半年,当机器人的创业时机如同 2016 年的自动驾驶一样成熟时,两人再次一拍即合成立了星海图。
赵行曾公开回忆过那个瞬间:“你找我创业,我肯定和你一起,方向我们可以再找,但和你创业我现在就可以答应。”正是这种极度互信的搭档关系,让那些关于“流式动作”和“提速 4 倍”的构想,迅速变成了具身智能公司的核心壁垒。
接下来,最关键的是,各个层间该传递什么信息。04层间传什么:向下较为丰富,向上几乎空白接下来谈谈第二部分,层间传递什么。三条时钟两条边界,双向通行。向下:System 2 传给 1 语言、目标、程序、动作;
System 1 传给 0 运动。向上:System 0 反馈接触、力、跟踪状态;System 1 反馈进度、置信度与状态。但今天多数工作只做向下通路,向上通路严重缺失。向下我们已有一些工作。
WB-WAM 是为人形机器人生成全身动作的世界动作模型。作为 System 1,它输出全身和手的姿态,以及未来动作轨迹。更进一步有 OMG,一个动作多种输入。System 2 发送文字、音乐、参考姿态给 System 1,System 1 再转成可执行轨迹,由 System 0 跟踪。
尽管 System 2 和 1 之间有丰富的交互,但 System 1 到 0 之间,向下传的仍只有运动。只有运动是不够的。机器人只知道跟着轨迹,不知道目的,而且交互的本质是力,比如擦桌子,几乎只有力、没有运动。
所以,现在人们已经开始超越运动,从关节目标,到身体运动,到接触,再到力。超越运动的第一步是保持接触,无论是最早的那批重定向工作,还是我们发表在本次 CoRL 上的工作,都在尽力保住机器人与物体之间的接触点和几何关系。
但说实话,这类方法只保住了接触几何,它们对力还一无所知。最近我注意到 UC Berkeley 的一项工作 Ctrl-F。它给跟踪器参考动作和每只手的力指令;顶层再配一个小规划器,根据它实时看到的情况来调力。
下面是一个机器人推 20 公斤重箱子的例子,左边,SONIC 只跟踪运动,箱子纹丝不动;右边,他们的模型能推动箱子。注意是谁在决定力,是那个贴近物体的小规划器,也就是 System 1,而不是远在顶层的慢模型。
我们再来看看失败案例。底层系统大多时候自己行动,却不知道自己已经失败;高层系统不够快,没注意到任务已失败。这些失败都落在层与层之间,而今天,跨边界的反馈是缺失的,我认为我们迫切需要这套反馈机制。
05分层或单模型,都需考虑时钟最后,我认为未来有两条路。第一条是分层路线:每层有自己的时钟,上层不去精确指定接触和力,它向下发意图,下层向上发反馈。难点在于,下层必须能自己感知到失败、自己纠正,并主动上报。
第二条是单模型路线:统一架构共享权重,每个时钟配各自的专家,推理时以不同时钟运行。好处是架构统一、共享上下文、KV cache 可复用。难点是如何联合训练:System 1、2 靠行为克隆,System 0 靠仿真强化学习,两套训练机制如何放进同一个环境里一起训?
无论哪条路,时钟都必须是模型设计的一部分。总结一下:在机器人领域,世界不会等模型。系统要对什么做出反应,决定了它的时钟;要选配得上时钟的模型,而不是反过来。层间要向下发意图、向上报失败。
不要只造一个快模型或一个小模型,要造整个系统。最后我恳请社区,以后做机器人仿真基准,请同时报告截止时限前的成功率和所需推理时间。演讲结束时,奥斯汀会场的掌声很热烈。对于台下的同行而言,这不仅是一场关于 System 0/1/2 的技术拆解,更是一份来自产业一线的深度思考。
在赵行看来,技术的演进从来不是孤立的算法游戏。他曾跟 AI 科技评论聊起过一个宏大的命题:到底什么样的技术值得投入一生?当年毕业时,自动驾驶和AR/VR 是最火的两个方向,但他果断放弃了后者。
类似的观点他的好友楼天城也曾提到,AR/VR 难以发展不仅是因为技术不成熟,更因为它向社会输出的正向价值太小。而自动驾驶和具身智能,因为与人的生命息息相关、能真正替代人类进行物理劳动,即使过去十年一直在烧钱,也总有行业力量前赴后继地接力。
这也是为什么,2020 年回到清华后,他拒绝将自己的实验室命名为“计算机视觉”或“深度学习”,而是取名 MARS,做一个纯粹的 AI 实验室。因为他深知,神经网络正在抹平语音、图像与控制的传统界限。
从 2015 年在 MIT 修一台动不动就坏的机器狗,到如今站在 CoRL 的讲台上定义人形机器人的时钟法则;从 Waymo 的前几名研究员,到星海图的 CTO。赵行一直走在物理世界 AI 的最前线,并且始终确信:不要只造一个快模型,要造整个系统;
不要只看基准测试的分数,要看它对现实世界的价值。让我们再次恭喜赵行老师。国际机器人顶会 CoRL 2026 即将召开,欢迎参会的研究者、学生,以及关注 AI 前沿进展的读者加入我们的交流群。
在这里,你可以认识同行、交流研究,分享招生信息、科研合作、约饭、投稿、组队参会等,寻找潜在的合作伙伴。大会期间,我们也会持续带来现场报道速递、嘉宾演讲解读、前沿方向梳理和论坛精华。
会场见,也在群里见。? 进群传送门: 扫码进群或添加微信szhsn610,备注:CoRL+单位/学校+姓名+方向。
Evidence
来源与证据
当前仅有一个可用来源,尚未完成多源交叉核验。
- 发布时间
- 内容处理
- AI 翻译 / 摘要,需结合原文核对
相关资讯
黄仁勋辞职后,英伟达任命执行副总裁兼首席财务官科莱特 · 克雷斯为临时首席执行官
首页 > IT资讯>业界 黄仁勋辞职后,英伟达任命执行副总裁兼首席财务官科莱特 · 克雷斯为临时首席执行官 2026/11/12 21:57:35 来源:IT之家 作者:沁沧(实习) IT之家 11 月 12 日闪讯速报,黄仁勋辞职后,英伟达任命执行副总裁兼首席财务官科莱特 · 克雷斯(Colette Kress)为临时首席执行官。 英伟达董事会今日宣布,现任英伟达执行副总裁兼首席财务官科莱特 · 克雷斯已同意出任临时首席执行官。 在正式继任者确定之前,克雷斯在代行首席执行官职责的同时,将继续兼任执行副总裁兼首席财务官。董事会目前已启动正式首席执行官的遴选工作,并将统筹考虑内部及外部
26.99 万元起!腾势 N8 上市,内饰最美的比亚迪来了
聊到比亚迪的优势,大多数人第一时间会想到他们的产品布局,出货量庞大的电池,或者是他们的三电体系。 但很少有人会在第一时间想到比亚迪的内外饰设计,毕竟长期以来,比亚迪在这一方面都不算特别擅长。 但今天上市的全新腾势 N8 并非如此。 甚至可以说,在内饰层面上,这就是现世代的最美比亚迪。 还是先来看看定价。全新腾势 N8 共推出纯电与插混两大序列,分为尊荣和旗舰两大版本区分: 纯电尊荣型:26.99 万元(105kWh 电池 / CLTC 纯电续航 800km) 纯电旗舰型:27.99 万元(130kWh 电池 / CLTC 纯电续航 1003km) 纯电易三方尊荣型:30.99 万元(130kW
限时价 11.47 万元起,广汽埃安 Ray 7 车型正式上市
广汽旗下埃安 Ray 7 正式上市,作为 Ray 系列首款中大型纯电轿车,面向年轻市场打造,车长近 5 米,采用低趴宽体设计,风阻系数 0.22Cd,原价 12.38 万元起,上市限时价 11.47 万元起,共推出五款配置版本。该车提供闪电黄、仲夏紫两款车身颜色,前脸采用家族式量子星环设计,配贯穿灯带与可点亮品牌 LOGO,下包围设大尺寸通风口及两侧导流结构,侧面配备半隐藏式门把手,尾部采用贯穿式尾灯组。智能驾驶方面搭载 27 颗车规级全视角传感器,含华为 192 线激光雷达、3 颗 4D 毫米波雷达等,搭载文远知行 L4 级 Robotaxi 同源大模型。车辆长宽高为 4960×1900×1
实测用四款AI工具合成赵丽颖肖像,“AI偷脸”有多容易?
当明星的脸可以被AI轻易批量复制,维权也开始从下架侵权内容,走向对簿公堂。11月10日,演员赵丽颖以肖像权纠纷为由,将红果短剧运营方北京笔墨留香科技有限公司、其全资股东北京抖音信息服务有限公司,以及一名自然人史某伦,一并诉至北京市门头沟区人民法院。此前,易烊千玺、杨紫、邓为等多位明星也曾因肖像被AI短剧擅自使用而发布维权声明,要求红果删除、下架相关内容。赵丽颖此次直接提起诉讼,让AI换脸侵权的争议进一步进入司法追责层面。上海大邦律师事务所高级合伙人游云庭在接受澎湃新闻采访时表示,判断AI合成肖像是否受到法律保护,关键并不在于生成的人脸是否与明星本人完全一致,而在于其是否具有“可识别性”。游云庭
AI 翻译、摘要和解读仅用于辅助判断;涉及重要决策时,请回到上方来源核实。