Astra之后的机器人行业

本文来自微信公众号：AI Dancer，作者：薛定谔的爆米花，原文标题：《没忍住写了五千字：Astra之后的机器人行业》，头图来自：AI生成这两个月具身圈聊得最多的，应该就是 GPT-6 Astra 了。

一个通用大模型，没有专门为机器人训练过，接上机械臂就能干活。RoboCurve 让它把方块放进碗里，20 次成功 19 次。NVIDIA 拿 120 个仿真任务测，它的成功率是 74.8%，这个榜上之前最好的专用机器人模型是 51%。

它还在 RoboDojo 榜上冲到过第一，然后在真机测试里把人家的硬件弄坏了hh。国内凤凰网报道梁文锋最近在密集见具身创业者，DeepSeek 在考虑要不要下场。最近正好看了两篇文章，FD 在 《Robotics’ New Era After Astra》里说这就是机器人的 GPT-3 时刻，他对机器人行业乐观了 100 倍，但越来越不看好单独做机器人模型的公司。

隔了一天，OpenRUA 团队发文说这类榜单的分数有不少是测试方法送的，按真机的条件重算，掉了一大截。10 月中旬正好有人找我做咨询，聊的就是大模型对机器人模型的影响，当时把大小脑、VLA 这些概念整理过一遍。借这两篇，把整件事串起来讲一下。

一它到底有多强NVIDIA

Astranomy，120 个仿真任务的成功率和每步耗时先看 NVIDIA 这份 Astranomy 报告。120 个仿真操作任务，Franka 机械臂，三个摄像头，零样本，每个任务跑 5 次。

Astra 放在 Codex 里调工具当 agent 用，成功率 74.8%；让 NVIDIA 自家的小模型 Cosmos3 先提动作、Astra 在旁边审核，66.5%；直接让 Astra 输出动作，66.3%。

Cosmos3 自己跑是 36.8%，Physical Intelligence 的 π0.5 是 28%。报告里的消融实验有几个发现挺有意思：• 换模型差距很大。同样让模型直接输出动作，Astra 72.7%，GPT-6 Sol 33.3%，Claude Opus 5.5 25.3%。

机器人这个能力目前是 Astra 独一份。• 记忆比画面重要。保留它自己之前的推理和动作记录，比给它看更多画面有用。只给文字历史是 87%，只给画面历史只有 56.5%，两样都给是 100%。

• 告诉它相机和夹爪在哪，成绩翻好几倍。什么都不说时只有 19.3%，加上这些几何信息到了 72.7%。• 给它看之前成功回合的视频截帧，没有额外帮助。加了截帧是 87.9%，只用文字描述任务是 90%。

• 在审核模式里，Astra 大约每 7 步插手一次，最常见的原因是抓取失败，占 64%。NVIDIA 消融实验里的三组数代价是慢。π0.5 出一个动作不到 0.05 秒，Astra 一次决策要十几秒。

NVIDIA 估算过一个把酸奶放进碗里的任务，放到现实世界大约要 4 分钟，机械臂真正在动的只有 5 秒左右，剩下的时间都在等它想。凤凰网那篇里有位行业人士说得更狠："它拿起一个杯子要 40 分钟，大家对具身的要求还是太低了。"慢成这样还让具身圈这么震动，是因为它绕开了这个行业过去几年最头疼的问题。

二、机器人以前是怎么做的同一个任务，三种做法最早是分层。上面用大模型做规划，下面用另一套东西去执行。比较典型的是谷歌 2022 年的 SayCan，语言模型把"我把饮料洒了，能帮帮我吗"拆成"找到海绵、拿起海绵、拿过来"这样的步骤，再从一组提前训练好的技能里挑一个去做。

行业里常说的"大小脑"就是这个意思，大脑负责看懂场景、做规划，小脑负责把想法变成关节动作。这么分有它的道理，大模型一秒最多想几次，机械臂关节一秒要几十到几百次指令，正好一个慢一个快。

问题出在两层的接口上，大脑只能从小脑会的那几招里挑，小脑没练过的动作，大脑想得再好也用不上，而且"往左一点"到底是几毫米，用语言说不清楚。后来出现了 VLA，视觉-语言-动作模型，把大小脑合到了一个模型里。

2023 年谷歌的 RT-2 是代表，一个模型直接看画面、听指令、输出动作，不再经过"先拆步骤、再挑技能"这一道。VLM 到 VLA，增加了什么VLA 是在视觉语言模型（VLM）上训出来的。

VLM 本来就有视觉、语言和互联网上学来的常识，再拿机器人示范轨迹去训，输入是相机画面、任务指令和机器人自己的状态，标准答案是示范时机器人实际做出的动作。RT-2 把动作编码成 token，像说话一样一个个预测出来；

π0 在骨干后面挂了一个动作专家，一次生成一段连续的动作。问题出在数据量上。互联网文本有几十万亿 token，机器人轨迹数据几十万小时，差了 6 到 7 个数量级，所以 VLA 的骨干一般就 30 亿到 150 亿参数，再大就喂不饱。

大家只好拼命攒数据，NVIDIA 的 EgoScale 用了 2 万多小时人类视频，Dyna-2 用了 100 多万小时。FD 的说法是，机器人预训练"几乎看不到 scaling law"，圈里还有句老话，越靠近本体，离智能越远。

再后来，不少团队又在 VLA 内部分出了快慢两层。Figure 的 Helix 里，慢的那部分每秒想 7 到 9 次，快的那部分每秒 200 次输出全身动作，两部分一起训练；谷歌的 Gemini Robotics 1.5 用一个推理模型拆任务、查进度，一个 VLA 负责动手。

这些方案下面，还都有一层逆运动学、PD 控制这样的传统控制器，每秒几百上千次，宇树的狗会走路主要靠这一层。FD 管它叫 System 0，比如杯子快从手里滑出去的那一下，毫秒级加大握力。

Astra 让人震动的地方就在这里。它没专门吃机器人数据，直接从大模型那头把问题绕过去了。三、Astra 是怎么控制机器人的Astra 的控制回路它的做法跟 VLA 完全两样，更像是"把机器人当电脑用"。

以 RoboCurve 的测试为例，每一步给它三张相机图和机械臂当前的状态，它想一想，然后调用一个工具，直接给出夹爪下一步在三维空间里该到哪、朝哪个方向。机械臂自带的逆运动学把这个位置换算成关节角，执行完拍新照片，进入下一步。

所以它每一步是秒级的，控制的是"下一个落点"，不是连续的动作。这跟 Claude 操作浏览器是一个思路，MIT 的 Phillip Isola 管这类系统叫 robot-using agent。

好处是模型一升级，接上的机器人全跟着变强。为什么偏偏 Astra 行，前面那几组消融的数已经给了线索。我的理解是它强在空间推理和记性，空间关系交代清楚，它能算出手该往哪伸；记得上一步为什么这么做，下一步就不容易乱。

RoboCurve 还发现它想得少，同一个放碗任务，Astra 的输出 token 只有 Claude Fable 5.1 的六分之一左右，Fable 5.1 20 次成功 8 次，Astra 19 次。至于 OpenAI 有没有在训练里加了 3D、仿真甚至机器人数据，没公开，没人知道。

四分数里有多少水分今年

RoboDojo 榜上冒出来一批用大模型闭环控制机械臂的方案，RoboDawn、RoboICL、HexaShell 这些，不少底下跑的就是 Astra。OpenRUA 把这类系统统称为 Robot-Use Agent，一个个重测。

他们的标准只有一条：仿真里只能给 agent 真机上也拿得到的信息，也就是关节读数、相机画面、任务指令这些。物体的精确坐标、完美的深度图、"任务做完没有"的判定，真机都拿不到，算"特权信息"。

训练时可以偷看，评测相当于部署前的模拟考，不能用。大模型 agent 尤其要防着，工具返回里只要有一个字透露进度，它就会去用。同一张榜单，可能没在考同一件事按这个标准，他们找出三个漏洞。

第一个是不限时。RoboDojo 给每个任务定了步数上限，比如捡东西 200 步，大约 8 秒。RoboDawn 在代码里直接把上限改成了 10 的 9 次方。OpenRUA 把它公开的 210 个回合逐条还原，99 次成功里有 97 次是超时以后才做成的，按原规则算，成功率从 47.1% 变成 1.0%。

OpenRUA 原图，RoboDawn 的成功几乎全部发生在原步数上限之后第二个是裁判一直在场。仿真里有个自动检查器，任务一达标就替 agent 喊停，agent 不用自己判断做完没有，中途错了也没代价。

OpenRUA 加了一个 done 工具，让它自己觉得做完了再交卷，交了不能改。用 Astra 的 RoboICL 从 83.2 分掉到 63.5，50 个回合里有 13 次没做完就说做完了。

比如叠三个碗，原来的设置里，检查器在第 574 步动作做到一半时判了成功，回合当场结束，得 100 分；改成自己交卷以后，它在第 395 步报告"三个碗都叠好了"，检查器只数到两个，得 15 分。

OpenRUA 原图，叠碗任务在两种设置下的结果第三个是在考题上刷技能。有的方案在测试任务上反复迭代工具和技能，再在同一批任务上报分。HexaShell 在一个任务上练出来的技能，让这个任务从 0 分涨到 80 分，挪到另外四个任务上，两个完全没涨，两个只涨了一半左右。这些技能记住的主要是那道题的解法。

五行业会怎么变大模型当大脑

，VLA 当小脑FD 的判断有三条。第一条，分工会变成三层。高层规划和大部分中层动作会被通用大模型吃掉，最底层的快速反射控制还是要靠小而专的本地控制器。Understanding Robots 的判断也差不多，大模型当调度员，机器人身上跑快速的专用策略。

现在已经能看到这种结构了，NVIDIA 那组"Cosmos3 提动作、Astra 审核"，Cosmos3 自己跑 36.8%，加上 Astra 审核到了 66.5%；RoboDojo 现在排第一的，也是一个能调用 π0.5 的大模型 agent；

谷歌的 Gemini Robotics 本来就是这个架子。第二条，单独做机器人模型的公司，价值可能被大幅压缩，它们得证明自己能做到通用模型做不到的事。不过他也承认编程领域就有反例，大模型很会写代码，专门的编程产品照样打下了市场，机器人市场也可能容得下好几个赢家。

放到国内，这也是 DeepSeek 想进来的逻辑，凤凰网说它在考虑自己组队或者投资合作，后一种就是模型公司出大脑、机器人公司出身体（梁文锋之前已经投了宇树）。第三条，数据的问题从"要多少"变成"要什么、怎么配比"。

FD 猜测大约 80% 的第一视角视频，对足够强的通用模型来说价值不大；精密装配、拧小螺丝、理线束、叠衣服这类活，以及触觉、力、摩擦这些相机看不到的信息，才是真缺的。这一条里我觉得最值得注意的是钱。

FD 转述了业内的说法，头部实验室都在按百万小时的量级采购机器人数据，每家预算约 10 亿美元（没有来源，听听就好）。对照一下动作，据 8 月的报道，OpenAI 在湾区里士满拿下了一处约 20 万平方英尺的工业场地，用来做机器人研发和制造；

凤凰网的报道里也有行业人士说，OpenAI 在 GPT-6 之外还在单独训练一个具身基座模型。模型公司一边证明通用大模型能直接控机器人，一边在砸钱买真机数据。这说明在它们自己看来，大脑可以从通用模型里长出来，但真机数据还是绕不过去，手里有对的数据的公司，议价权会越来越大。

六、写在最后两篇文章我觉得可以综合着看。OpenRUA 挤掉的是测试方法里的水分，挤完之后 Astra 还是厉害的。一个没专门做过机器人训练的通用模型，能看懂场景、算出落点、自己纠错，同一个测试里 Sol 和 Opus 5.5 都不到它的一半。

理解"拿起一个杯子"是什么意思、该先做什么，这一层以后大概率会交给通用大模型，这对具身是很大的变化。它现在最大的短板是慢，而速度是最有希望解决的问题。大模型提速的办法已经很多了，比如推测解码，先让一个小模型猜接下来的几个 token，大模型一次验证，猜对了就省下时间；

各家也都在出 highspeed 版本。RoboCurve 统计过，同一档智能的大模型，生成速度每年快 2 到 7 倍。速度上来以后，变化会很具体。现在 Astra 只能做"想十几秒、动一下"的准静态抓放，那个酸奶任务要 4 分钟；

快 7 倍，大概就是 40 秒左右，已经接近能用的范围。再快一些，"云端大模型当大脑、本地 VLA 当小脑"这个结构就真正跑得起来，大脑审核、纠错的频率也能跟着提上去。再往后，模型还得搬到机器人身上跑，因为工厂和家里不能一断网就停工，端侧芯片和内存会是下一个大生意。

FD 算过，1000 亿参数的模型量化到 4-bit，光权重就要 50GB 左右。到那时候，单独做机器人模型的公司还剩什么？我猜是最底层的控制、真机数据和落地能力。至于榜单，我之前一直觉得 evaluation 是大模型最重要的部分，具身这边要分清哪些分是能力、哪些是测法给的，还得先有一套按真机条件来的测法。

参考：Robonomics：Robotics' New Era After AstraOpenRUA：Behind the RoboDojo BoomNVIDIA Research：AstranomyUnderstanding Robots：OpenAI's Astra model is shockingly good at roboticsRoboCurve：GPT-6 Astra 机器人评测凤凰网科技：DeepSeek考虑入局具身智能本文来自微信公众号：AI Dancer，作者：薛定谔的爆米花