苹果披露人形机器人HALO系统及大脑进展

当地时间11月4日，苹果研究团队在预印本平台arXiv提交论文，披露了名为HALO的人形机器人自主控制系统。该系统被部署在宇树科技的G1人形机器人上，旨在将仿真环境中习得的能力迁移至未预先扫描的陌生现实场景中。研究团队公开了涵盖动作生成、跟踪、任务编排及仿真部署的完整代码，展示了机器人钻过桌底、坐上沙发、推箱子以及侧身穿过半开门等复杂动作。

HALO系统采用三层协同控制架构。最上层是基于视觉语言模型（VLM）的任务编排模块，默认采用千问Qwen3.6-35B-A3B模型，在搭载的Mac mini上本地运行，负责理解模糊指令并规划子任务。

中间层为动作生成层，使用千问Qwen3.5-2B模型配合DiT解码器，根据环境变化每秒重新规划约3次动作。底层则是经强化学习训练的动作跟踪器，以每秒50次的频率将动作计划转化为关节控制指令。

在测试方面，研究团队在6个未建图的真实环境中进行了360次单项任务测试，平均成功率达到91%。针对长序列复合任务，在单一场景下测试3种组合，平均成功率为70%。其中，最复杂的“俯身通过障碍—走向目标—推箱子”组合，10次测试中成功5次，成功率为50%。

为了训练这一系统，研究团队主要依赖合成数据。他们在1000个程序生成的模拟家庭环境中，耗时约48小时合成了约300小时的数据。训练过程使用了250张英伟达H100 GPU，动作生成器使用了64张B200，动作跟踪器使用了4张H100。尽管数据生成高度自动化，但新增物理任务仍需人工编写提示词和设计关键帧，部分动作还使用了人类视频或动捕素材。

目前，该系统主要依赖视觉感知，尚未加入触觉反馈。当物体离开相机视野或被遮挡时，涉及较多接触的任务表现会下降。研究团队指出，引入触觉感知将是后续改进的重要方向。