单一来源
当前只有一个可用来源,尚未完成多源交叉核验英伟达机器人开源撞上Fable 5.2发布!Jim Fan:不是寒冬是夏天
英伟达机器人开源撞上Fable 5.2发布!Jim Fan:不是寒冬是夏天
全体起立!时隔一年半,英伟达的新一代机器人基础模型终于来了!
刚刚,在今年奥斯汀举行的CoRL大会上,英伟达GEAR领导朱玉可和Jim Fan,搬出了新一代世界动作模型——
GR00T 2。
在时长1分半的官方demo中,GR00T 2可以拿剪刀裁标签、安装显卡、擦火柴、切香蕉做早餐、擦咖啡、收桌子、卖爆米花。
看下来,几乎是样样全能。从双手精细操作到全身移动,模型的任务范围几乎覆盖了机器人能力的各个方向。
而且,据朱玉可透露,GR00T2的模型、数据、仿真环境和数据采集硬件也将陆续开源。
目前,10万小时的人类数据已经率先开放。
咱一人来一句英伟达nb,不过分吧?
GR00T 2:扩展机器人基础模型的泛化、灵巧性与适应能力
作为一款世界动作模型,GR00T2能够同时预测未来画面与机器人动作。训练时,它把“世界将如何变化”和“机器人应当如何行动”放在一起学习。
发布会上,Jim Fan将其定位为一个反应够快、能够本地运行,同时既容易通过示范教会,也容易被推理模型引导的System 1(快系统)物理技能模型。
而放回GR00T 2内部,这就是朱玉可在推特上说的Xadapt跨本体适配。
简单来说,过去要教会一台机器人完成新任务,往往需要针对它的身体形态和控制方式,重新采集一批机器人示范数据。
X-Adapt则试图打破这层限制,人类或手持设备示范过的技能,可以直接迁移给没有练过这项任务的机器人。
具体来看,英伟达展示了三条路径。
1、从人类示范迁移到机器人。
研究人员佩戴动捕设备,示范如何放置、润湿滤纸。随后,双五指手Dexter就能完成同一任务。
整个过程中,没有采集该任务的机器人遥操作示范。仅凭人类示范,Dexter在20次试验中的成功率就达到65%。
2、从手持夹爪迁移到机械臂。
研究人员使用手持UMI夹爪,示范如何组装玩具自卸卡车。模型学习后,再将这项技能迁移到YAM机械臂上。
尽管UMI与YAM的夹爪形态不同,YAM仍能端到端完成最长约四分钟的组装任务,成功率达到60%。
同样的迁移路径,还被用于传送带分拣与抛掷、操作板拆解等任务。
3、从可穿戴外骨骼迁移到机器人灵巧手。
研究人员戴上DexUMI手部外骨骼,示范制作香蕉酸奶、舀取麦片。
模型利用这些数据微调后,机器人就能接手完成早餐任务,同样不需要额外采集这项任务的机器人遥操作示范。
总结来看,这三条路径指向同一个变化:同一项技能,不必总是在每一种机器人上重新示范一遍。
当然,跨本体迁移并不意味着完全不需要机器人数据。
在人类动捕和UMI路径中,目标机器人仍会提供与具体任务无关的数据,让模型熟悉自身的身体结构、运动方式和控制空间。新任务的示范,则可以来自更容易采集的人类操作。
这也是GR00T2技术报告所强调的方向,扩展机器人基础模型的泛化、灵巧性与适应能力。
迁移之外,GR00T 2也展示了通过少量机器人示范提高执行精度的能力。
在另一组Dexter-50评测中,模型的零样本平均成功率为40%;每项任务提供一次示范后,成功率提高到71%;提供五次示范后,则达到95%。
更关键的是,这五次示范合计不足三分钟。随后,只需要在单张RTX5090上进行约30分钟的LoRA微调,就能得到适配对应任务的模型。
在实际调用方面,英伟达也紧跟潮流,开放了WAM API。
通过API,推理模型可以负责拆解任务、检查执行进度,再将具体的物理技能交给GR00T2执行。
换句话说,GR00T2不仅可以自己完成技能,还能成为上层智能体调用的物理执行模块。
那么,问题来了:英伟达,你咋这么nb?
40 万小时人类视频,怎么变成机器人的动手能力?
咱一个一个来说。X-Adapt背后,首先是一座数据金字塔。GR00T2的预训练混合了三类数据:
402,730小时人类第一视角视频;
10,184小时手持UMI演示,覆盖2,897项任务;
23,500小时机器人遥操作数据。
不难看出,人类视频的规模远大于另外两类。这意味着,机器人的学习材料不再局限于人工遥操作采集的动作轨迹,而是进一步扩展到大量真实的人类活动:
人怎样拿起工具、移动物体、完成装配,以及一次动作之后,周围场景会发生怎样的变化。
UMI和可穿戴设备负责补充更直接的操作轨迹,机器人遥操作数据则帮助模型学习不同身体对应的运动与控制方式。
为了验证人类视频究竟能不能帮助机器人干活?团队还专门做了一组规模实验。
他们分别使用不含人类视频、1%、10%和全部人类视频的数据训练模型,再在72项Dexter任务上评估。
结果显示,随着人类视频数据增加,真实机器人上的平均任务进度从50%提高到70%。
这组实验给出了一个相当直接的答案:大规模人类经验,不只是丰富模型的视觉知识,也能转化成机器人在真实任务中的执行进展。
为了吃下这些数据,在模型方面,GR00T2则接收语言指令、多视角相机画面和机器人状态,通过同一个扩散Transformer,联合预测未来视频与动作序列。
最后,围绕GR00T2,英伟达还在把数据采集、处理、训练、仿真验证和实际部署接成一套完整工具链。
采集端,是UMI、DexUMI等设备。它们让研究人员直接记录人类操作,尤其是那些传统遥操作很难自然完成的灵巧动作。
数据端,包括Human-1M与Flora。前者提供人类第一视角视频,首批10万小时子集已经公开;后者支持数据整理、描述性标注和自动评估。
仿真端,则有SimFoundry。它可以从真实场景重建任务环境,用于策略测试、数据生成和技能开发。
执行端,则由不同模型和组件分工完成。
ASPIRE将机器人模型与代码技能组织起来,支持任务执行和错误恢复。面向人形机器人,Turbo使用更轻量的网络和更紧凑的视频表示,降低预测开销。
在G1的机载Jetson Thor上,Turbo单次预测耗时为124毫秒;SONIC则运行在另一块Jetson Orin上,以50Hz进行全身控制。
前者生成运动计划,后者把计划转化为持续的身体动作,让机器人在伸手、弯腰和搬运时维持协调。
这样一来,开发者拿到GR00T2后,不仅能调用模型本身,还能沿着配套工具链采集自己的数据、适配自己的任务、在仿真中验证技能,最后将其部署到真实机器人上。
这也是英伟达此次发布更值得关注的地方:它开放的已经不只是一款机器人模型,而是从数据采集、模型训练到技能调用和实际执行的一整套开发体系。
One more thing
在CoRL的现场演讲里,Jim Fan说:
“Astra没有打碎我们的梦想,它打破的是我们的围墙。”
“这不是寒冬,这是机器人的夏天。”
虽然话是这么说不错,但今天发布的Claude Fable 5.2,在RoboDojo上的表现也着实有点,来给机器人学上课的意思。
在Anthropic公布的RoboDojo Sim仿真双臂测试中,采用相同运行框架、各模型最高可用推理强度,Fable 5.2得分 64.9%,GPT-6 Astra为29.8%。
要不,下次「后会友期」,大模型队和具身模型队也来报个名?
[1]https://research.nvidia.com/labs/gear/gr00t-2/
[2]https://research.nvidia.com/labs/gear/gr00t-2/assets/gr00t2_whitepaper.pdf
版权所有,未经授权不得以任何形式转载及使用,违者必究。
世界模型 具身智能 英伟达
· 三年前布局,今年爆火丨西湖大学成立新中心2026-11-01
· 刚刚,扩散模型杀进Agent主场!350亿参数,速度比Jev快一倍2026-10-29
· 刚刚,Gemini 4终于来了:谷歌重回御三家,API限时半价2026-10-16
老黄200亿「钞能力」回应谷歌:联手Groq,补上推理短板
Groq究竟能为英伟达带来什么?
美团外卖前负责人入局餐饮具身模型,元节智能获千万级种子轮融资
不造人形机器人,死磕餐饮后厨
刘强东连投3家具身智能!京东美团「战火」烧到外卖之外
看重「量产硬件+具身智能大脑」
35家中国企业,杀进全球人形机器人100强 | 大摩具身智能机器人报告
机器人界,DeepSeek时刻降临
首份空间智能研究报告来了!一文全面获得空间智能要素、玩家图谱
看尽「3大应用领域+1种原生交互方式+1种终局状态」
从“被动感知”到“理解接触”,它石智航联合六大机构发布OmniVTA视触觉世界模型
迈出灵巧操作的关键一步
Evidence
来源与证据
当前仅有一个可用来源,尚未完成多源交叉核验。
- 发布时间
- 内容处理
- AI 翻译 / 摘要,需结合原文核对
相关资讯
Nordic 推出支持边缘 AI 推理的 Wi-Fi SoC「nRF71」系列,待机功耗最高降低 1/20
首页 > 智能时代>人工智能 Nordic 推出支持边缘 AI 推理的 Wi-Fi SoC「nRF71」系列,待机功耗最高降低 1/20 2026/11/11 13:53:04 来源:IT之家 作者:潞源 IT之家 11 月 11 日消息,Nordic Semiconductor(IT之家注:诺迪克半导体)现已推出 nRF71 系列 Wi-Fi SoC,该产品内置 NPU,可直接在芯片上执行 AI 推理。 据介绍,该系列芯片包含 nRF7120、nRF7120E 两种型号。前者支持双频 Wi-Fi 6,后者支持三频 Wi-Fi 6E,并搭载用于加速边缘 AI 推理的 Axon NPU。
Anthropic 推出多项企业级办公新功能 覆盖协作全流程
人工智能企业 Anthropic 面向企业级用户推出一系列全新功能,构建覆盖团队协作全流程的工具矩阵。新功能包含可加入视频会议实时跟进讨论、自动生成会议产出的 Claude Meetings,能将零散想法整理为带负责人和截止日期的可视化工作区并可一键转成文档或演示文稿的 Claude Whiteboards,支持通过提示词创建复杂电子表格且清晰标注 AI 修改痕迹的 Claude Sheets,以及可无缝连接企业数据仓库与 CRM 系统、响应复杂业务数据查询的 Claude Data。同时 Anthropic 升级了交互式连接器,支持多款主流第三方应用将完整操作界面嵌入 Claude 对话界面
2026 世界计算大会将于 11 月 19 日至 21 日在长沙举行
2026 世界计算大会将于 11 月 19 日至 21 日在长沙举行 15 分钟前 2026 世界计算大会将于 11 月 19 日至 21 日在湖南长沙举行,大会将解读「十五五」时期计算产业发展方向,发布一批计算产业相关研究报告与产业成果,还将规划 1 万平方米计算产业博览会,集中展示具身智能机器人、脑机接口等创新产品。 2026 世界计算大会 11 月 19 日长沙举行:首设太空计算论坛,具身智能机器人、脑机接口将亮相 IT 之家 2026 世界计算大会将于 11 月 19 日至 21 日在长沙举行 格隆汇 / 财联社 专业版功能 体验专业版特色功能,拓展更丰富、更全面的相关
天猫双 11 多家大模型厂商相关 Token 等产品开启低折扣活动
天猫双 11 多家大模型厂商相关 Token 等产品开启低折扣活动 15 分钟前 智谱、MiniMax、千问办公、阿里云、Qoder 等大模型厂商开启部分产品折扣活动,其中 MiniMax 三款月卡全部 5 折,阿里云 Token Plan 两款月卡 5 折起,智谱周卡 5 折起,千问办公基础版会员月卡首月 3 折起,Qoder 月卡 3.3 折,相关活动可在天猫 AI 空间站的 Token 充值中心参与。 大模型厂商今日 5 折卖 Token 华尔街见闻 11 月 11 日大模型厂商 5 折卖 Token 天猫双 11 部分 Token 产品打 5 折 展开全部报道 专业版功
AI 翻译、摘要和解读仅用于辅助判断;涉及重要决策时,请回到上方来源核实。