跳到正文
认知
返回深度
深度科技大约 1 小时前1
单一来源当前只有一个可用来源,尚未完成多源交叉核验

机器人公司开始使用别人的“大脑”,自己还要研发什么?

本文来自微信公众号: 具身志 ,编辑:|越十三,作者:仲庆元报道提要不从零训练基础模型,机器人公司就能少做多少研发?乐聚借用蚂蚁灵波的模型训练工业操作,星海图也在同时开发和使用外部模型。

技术成果正在跨企业流动,但机器人真正会干活,仍需自己练。11月5日,三家中国公司开发的机器人模型,出现在同一份开源软件更新名单里。它们分别是星海图的G0.5、蚂蚁灵波的LingBot-VLA 2.0,以及自变量的Wall-OSS-0.5,虽然由不同团队开发,技术架构也不一样,如今却都获得了LeRobot 0.7的新版本支持。

这看起来只是一条软件更新的消息。但在这份名单出现之前,中国机器人企业之间已经发生了一些更有意思的事情。今年8月,乐聚发布了一款面向工业操作的机器人模型KUAVO-VLA-1.0。在一项名为“舍弗勒小件上料”的真机评测中,它的任务成功率达到60%,而采用相同基础模型、同样接受过针对性任务训练的对照方案,成功率只有27%。

有意思的地方在于,这两套方案其实有同一个起点。乐聚并没有从零开始训练自己的基础模型,而是采用了蚂蚁灵波的LingBot-VLA 2.0,再用自己的680小时工业操作数据继续训练,最终得到了一款更适合自家机器人的模型。

另一家开发机器人模型的公司星海图,情况还要复杂一些。它不仅研发自己的模型,还为蚂蚁灵波提供过硬件、数据与测试支持,如今又在自家的开发平台中集成其他公司的模型。原本看起来各自竞争的机器人企业,开始在不同研发环节使用彼此的成果。

这带来了一个值得追问的问题:当机器人公司已经可以使用别人开发的“大脑”,它们自己还需要研发什么?一套外部模型,如何变成乐聚自己的机器人能力?乐聚并不是在今年8月才开始接触外部模型。

5月30日,其开源项目LeTools-Learning便宣布支持多种已有机器人模型,包括π系列、GR00T和LingBot-VLA等。对于一家制造人形机器人的公司来说,能够接入更多模型,意味着开发者有机会在自家机器人硬件上尝试不同的算法。

不过,这些模型并不是下载之后就能直接使用。Kuavo有自己的关节、相机、末端执行器和控制系统。不同模型则使用不同的数据结构、动作表示和推理程序。例如,一项双臂操作的数据,除了记录机器人看到了什么,还需要包含左右手臂的位置、动作变化,以及这些信息与相机画面的对应关系。

换一款机器人,关节配置或者末端执行器不同,原来的数据处理方式就可能需要调整。乐聚因此专门开发了自己的工具链。在公开的LeTools-Learning项目里,可以看到数据转换、模型训练、推理服务和机器人部署等不同模块。

开发者需要把Kuavo采集的原始ROS数据整理成模型可以读取的数据集,再根据具体型号、单臂或双臂配置以及末端执行器,完成相应适配。这些工作没有因为使用外部模型而消失。不过,乐聚也没有选择每次都从头训练一套通用模型。

8月26日推出的KUAVO-VLA-1.0,直接使用蚂蚁灵波的LingBot-VLA 2.0作为基础。接下来,乐聚做了一件更接近机器人自身业务的事情:用自己的真机数据,让外部模型进一步学习工业操作。

它积累了680小时双臂遥操作数据,覆盖100项工业任务,包括零件抓放、分拣、装配、包装和工具操作等,共形成约5.88万段操作示教。这些数据并不是工作人员拿着摄像机拍下的工厂视频,而是人通过遥操作设备控制真实的Kuavo机器人完成任务。

采集数据中,系统同步记录机器人头部和手腕相机的画面,以及机械臂状态、操作轨迹等信息。随后,采集的数据经过人工审核、格式转换和自动筛选,才会进入训练系统。对模型来说,这些数据提供的不只是物体的外观,还有一台具体机器人怎样完成操作的经验。

乐聚先使用这100项任务的数据,对LingBot-VLA 2.0进行工业领域再训练,试图让模型获得更适合Kuavo的工业操作能力。可到此还没结束。当机器人真正面对某项具体工作时,乐聚还会围绕该任务进行后训练。

这相当于把研发工作分成了不同层次:基础模型提供已经学到的视觉、语言和动作能力,工业领域再训练让它熟悉一类工作,而最后的专项训练,则让机器人进一步适应具体任务。乐聚没有重新制造所有能力,也没有把外部模型直接当成成品,它选择在已有基础上,继续建立自己的工业操作能力。

问题是:这种做法究竟带来了多大变化?同一个“大脑”,有些工作学会了,有些还是不会乐聚公布了一份25项操作任务的真机评测成绩单。其中20项属于此前工业领域训练数据覆盖的任务,另外5项则来自公开的GM100任务集,没有进入第一阶段训练数据。

因此,这不是让机器人拿到一个陌生任务便直接尝试的零样本测试,而是比较不同模型经过相应训练后,在具体任务上的表现。“舍弗勒小件上料”是其中一项。按照乐聚技术报告中的任务描述,机器人需要从料箱中抓取零件,再将它们放到传送带上。

动作听起来并不复杂,但机器人需要完成从识别目标、控制抓取到移动放置的一连串操作,任何一个环节失败,都可能让整项任务无法完成。根据乐聚公布的结果,以LingBot-VLA 2.0为基础的KUAVO-VLA-1.0,完整任务成功率达到60%。

作为对照的方案,直接从LingBot-VLA 2.0进行专项训练成功率为27%。也就是说,在同一套评测条件下,经过工业领域再训练的模型,完成这项任务的比例明显提高。进一步看,两款模型的过程分分别为88%和52%。

过程分统计的是机器人在操作中完成了多少步骤,即使最终没有完成全部任务,也会计入已经完成的部分。这组结果很有代表性。工业操作往往不是一次简单的抓取。机器人可能需要识别目标、抓住零件、调整位置,再将其放到指定区域。

任何一个环节失败,都可能使完整任务无法完成。不过,乐聚并没有公布足够细致的逐次失败分析,因此还不能确定模型究竟在哪个动作上取得了改善。而且,如果继续翻看这份成绩单,还会发现一些不那么漂亮的结果。

在“零件尺寸分拣”任务中,KUAVO-VLA-1.0的完整任务成功率仍然为0%。在“快消品双手协调上料”任务中,它取得了60%的成功率,却低于另一款参与对照的模型π0.5的80%。

换言之,经过工业领域再训练的模型,并不是在所有任务上都表现最好。甚至同一套模型,在不同工业操作之间,也可能出现很大的能力差距。因此,对乐聚来说,借用蚂蚁灵波的基础模型,只是研发工作的一部分仍然需要回答一个更实际的问题:怎样让这套模型学会使用Kuavo的双手,完成公司希望进入的工业任务?

680小时的数据、工业领域再训练、具体任务的后训练,以及机器人自身的控制适配,都是围绕这个问题展开的。而且,这些工作也未必一次完成就能结束。一种任务的成功率提高了,另一种任务仍然可能失败。

即使是相似的抓取和放置操作,只要零件、操作顺序或工作条件发生变化,都可能需要新的训练和验证。乐聚的实验也不能证明,采用外部模型一定节省了多少研发成本,或者经过再训练的模型已经可以稳定进入工厂。

但它至少提供了一个真实的开发案例:机器人公司不必从零开发全部模型能力,却仍然需要通过自己的数据和工程工作,把外部模型变成适合具体机器人的能力。过去,人们常常把机器人公司的技术竞争理解为谁拥有更强的“大脑”。

现在,至少在乐聚的实践中,基础模型从哪里来,与机器人最终能完成什么工作,已经可以是两个不同的问题。不过,乐聚仍然主要是外部模型的使用者。在另一家公司身上,模型开发者与使用者的关系已经没有这么简单。

谁是模型开发者,谁又是使用者?今年2月,蚂蚁灵波开源早期LingBot-VLA模型时,星海图出现在了它的技术合作名单里。这不是一次普通的软件适配。据公开报道,星海图在数据支持、评测验证和跨机器人本体部署等方面,为LingBot-VLA提供了技术支撑。

其R1 Pro机器人也是这一模型研发验证使用的重要硬件平台之一。换句话说,蚂蚁灵波开发一套面向不同机器人的基础模型,需要借助星海图的真实机器人和相关技术条件来验证。这一点并不难理解。

机器人模型不同于只处理文字的语言模型。它输出的动作最终要由机械臂、关节和末端执行器完成。模型是否能够在不同构型的机器人上工作,需要真实硬件提供验证条件。一家公司即使拥有很强的模型研发能力,也未必需要自己制造所有实验用的机器人。

而星海图的特殊之处在于,它并不只是为别人提供硬件。今年6月,星海图发布自研具身智能基础模型G0.5。与此同时,它也在建设自己的机器人开发平台EDP。在EDP这个平台的公开介绍中,除了G0.5等自研模型,还列出了Physical Intelligence的π0、π0.5,以及蚂蚁灵波LingBot-VLA等外部模型。

星海图希望开发者能够在同一套平台上完成数据管理、模型后训练、部署和评测等工作。据了解,星海图已将这些模型列入支持范围,但未进一步透露,每款模型是否都经过完整的第三方真机验证,或已经形成大规模商业使用。

但即便如此,这组事实已经足够有意思。在蚂蚁灵波研发模型时,星海图可以提供机器人硬件、数据和评测支持。在开发自己的G0.5时,它又成为基础模型的提供者。而在EDP平台中,它还将其他公司开发的模型纳入可支持的范围。

如果再回头看乐聚的LeTools-Learning,会发现它的外部模型支持名单中,如今也列出了星海图的G0.5。这就形成了一个颇为特别的关系。蚂蚁灵波的模型,可以成为乐聚工业模型的基础。

星海图的机器人硬件、数据和测试条件,可以参与蚂蚁灵波模型的开发与验证。星海图自己开发的模型,又进入乐聚的工具链和LeRobot的公共开发生态。原本可能被简单归类为模型公司、机器人制造商和工具平台的企业,实际上正在不同研发环节交换角色。

当然,这不等于这些公司已经共同建设了一个统一的模型体系。但这些关系至少揭示了一件事:在机器人产业,自己开发模型与使用别人的模型,并不矛盾;提供机器人硬件与参与模型研发,也不一定是两门互不相干的生意。

一家企业既可以从别人那里获得技术,也可以在另一个环节成为别人研发所依赖的技术提供者。这与人们熟悉的“模型公司开发大脑,机器人公司采购大脑”的简单分工,有明显区别。那么,当不同公司都在开发模型、使用模型,也都在建设自己的工具时,行业是否还需要一套共同的开发基础设施?

11月5日的LeRobot更新,恰好提供了一个观察窗口。共同的工具箱,还装不下所有工作LeRobot 0.7并不是机器人公司开始使用外部模型的起点。乐聚早在5月就已经公开支持多种外部模型,8月发布了自己的工业垂域模型;

星海图与蚂蚁灵波的合作,更早在年初就已发生。但这些原本分散的技术关系,正在公共工具中拥有更多交集。这次更新中,有一项变化尤其能够说明共同开发工具正在解决什么问题:机器人训练数据不再需要事先全部下载到本地。

过去,一套规模很大的机器人操作数据,往往包含大量相机视频和对应的动作记录。开发者要用这些数据训练模型,首先可能需要解决如何存储、下载和读取的问题。LeRobot 0.7新增的数据流式读取机制,可以根据训练进度,从远程数据集中读取实际需要的那部分视频内容,而不必先把整个数据集搬到本地。

对于使用同一种数据格式的不同开发团队来说,这意味着可以复用已有的数据读取和训练组织工具,不必都从头开发一套处理大型视频数据的程序。这项能力并不能保证每个项目都获得相同的训练加速,也不能替企业解决数据采集和质量问题。

但它确实把一部分重复的软件工程工作交给了共同维护的工具。同一套工具现在还能够支持来自不同公司的更多模型。这意味着,越来越多开发工作可以从别人已经完成的模型和软件基础上开始。但乐聚和星海图的实践,也说明了这种复用的边界。

一套公共工具能够帮助开发者组织训练,却不会自动知道Kuavo双臂机器人该怎样抓取一个零件。一个外部基础模型可以提供已有的操作能力,却不能保证另一款机器人在新的任务中直接取得同样成绩。

即使模型、数据和工具都能被共享,具体机器人需要的本体控制、任务训练和测试验证,仍然需要继续完成。乐聚使用蚂蚁灵波的模型,又投入自己的工业数据和训练系统;星海图开发G0.5,也为其他公司的模型提供硬件和数据、评测支持。

现在值得关注的,已经不只是有多少家公司开源了机器人模型,而是这些模型进入其他公司的研发体系之后,究竟还能被开发出什么能力。乐聚那份25项任务的成绩单,给出了一个尚不完美、却很具体的答案。

同一基础模型经过工业领域训练和针对性开发,在部分任务上取得了更好的成绩;但另一些看起来相近的工业操作,它仍然无法完整完成。机器人公司可以借来别人已经训练好的“大脑”,却不能因此跳过让机器人真正学会工作的过程。

模型从哪里来,正在变得可以选择;机器人最终能做什么,仍然要靠一家家企业在真实硬件和具体任务上继续验证。END

Evidence

来源与证据

单一来源 · 1 个信源

当前仅有一个可用来源,尚未完成多源交叉核验。

发布时间
内容处理
AI 翻译 / 摘要,需结合原文核对
内容有误或来源失效?告诉我们
科技

AI 时代的浪花:Coze 从开源到下线没撑过一年

本文来自微信公众号: 叶小钗 ,作者:叶小钗10.29号,Coze官方宣布企业版本即将全面下线。这条消息出来以后,我的社群和朋友圈都快炸了。大家都很感叹,作为字节之前的明星产品,在AI这波浪潮下,来得快,去得也快。又一次印证了一个观点:在AI时代,只要你学得慢,你就不用学了。不过这次扣子下线的是企业版,并不是整个扣子下线。其实,Coze企业版本下线我们早有预兆,今年5月,Coze专业版停服、后面分批次下架了接近30款模型、海外版又批量下线了多项核心功能,这明显不是一个正常的节奏。之前我们课程体系中还会讲解如何用Coze搭建工作流AI。在今年4月份,我们就已经放弃了Coze平台作为工作流AI的载

3单一来源
科技

硅谷那套盖园区的方式,正在搬进实验室

本文来自微信公众号: TOP创新区研究院 ,作者:创新区研究组三年多前,当时Genetech要建新园区,Roche董事长Severin Schwan向它的全资子公司Genentech的管理层提了一个问题。他问:如果这个园区是一张白纸,你会怎么建?以及紧跟着的第二问:未来50年,园区会长什么样?2026年1月底,答案递到了南旧金山市政府:拆掉18栋楼,从2026年内开始动工,一路干到2033年。据San Francisco Business Times的消息源,总投入在30亿到50亿美元之间。首期就是约100万平方英尺实验室、约15亿美元。今年9月,第一栋大型研发中心的方案落了地。要拆的18栋楼

4单一来源
科技

丘成桐谈AI:不管黑猫白猫,先找到真理再说

本文来自微信公众号: 返朴 ,作者:丘成桐等格罗滕迪克曾将数学研究比作打开一枚坚果:一种做法是用锤子与凿子猛击硬壳,攻克具体的难题;另一种做法则是将坚果浸入水中,构建如汪洋般的理论体系,直到坚硬外壳自行松开。过去数百年间,无论哪一种路径,都是人类心智独享的领地。如今,AI正以远超预期的速度接管前者。强大工具在拓展人类视野的同时,也伴随着某些古典技艺的隐退。当通往真理的中间路途被机器大幅折叠,先拿到100%的答案再回头理解,会成为未来科学跃迁的新常态,还是会让年轻一代在不知不觉中沦为算法的附庸?在日前举办的“丘成桐数学与人工智能实验室联盟”成立仪式的圆桌论坛上,菲尔兹奖得主丘成桐、中国科学院院士

4单一来源
科技

凌晨4点的脑机接口,站着一群“江湖骗子”

本文来自微信公众号: 动脉网 ,作者:牟磊脑机接口并非一开始就站在风口。柔灵科技创始人孙瑜曾这样形容早期的脑机接口——那是“凌晨4点,街上连个问路的人都没有”的艰难时刻。不仅如此,因为技术和落地场景都过于“科幻”,很多创始人在初期融资时都有过被当作“江湖骗子”的尴尬经历。这显然与当前行业的炙手可热形成了鲜明对比。图1.2022-2026上半年国内脑机接口融资情况据动脉橙数据库不完全统计,2026年上半年,我国脑机接口领域共完成62起融资,融资总额超70亿元。将两项数据具象化——过去半年,这一赛道平均不到3天就落地一笔融资,并且70亿元的超高融资额是过去五年总和。在当前一级市场普遍收紧的大环境下

4单一来源

每天早上收到这 5 条

免注册,填邮箱即可;每封邮件都能一键退订。

提交即表示同意按隐私说明保存你的邮箱,只用于发送简报。

或用 RSS 订阅

AI 翻译、摘要和解读仅用于辅助判断;涉及重要决策时,请回到上方来源核实。