具身智能也需要Harness？港中文发布Agentic Robots综述

原创 让你更懂AI的 2026-11-03 23:23 北京

串起模型、数据、环境与 Harness

要让机器人完成“打开抽屉、取出蓝色方块、放到桌面”的任务，仅学会几个单独的动作还不够。

抽屉没拉到位、物体被遮挡、抓取后掉落，都可能打断原定计划。机器人还需要判断任务进度，决定接下来调用哪项能力，以及出错后如何补救。

这正是 Agentic Robots 关注的核心问题：如何协调已有的模型、工具与技能，根据执行反馈调整行为，并积累可供后续任务复用的经验。

Agent 的作用也由此延伸到模型训练、数据采集和仿真环境构建等环节。

香港中文大学 MMLab、复旦大学等机构的团队发布了综述《Towards Agentic Robots: Model, Data, Environment, and Harness》。

论文围绕模型、数据、环境与 Harness 四大领域、17 个功能类别，系统梳理了 Agent 如何参与机器人能力的开发、使用与迭代。

论文地址：

https://arxiv.org/abs/2610.20442

文献仓库：

https://github.com/chonghanqin/Awesome-Agentic-Robots

机器人有了动作能力，Agent 还能做什么？

仍以开抽屉取物为例。传统机器人策略通过示范或奖励信号学习抓取、拉动等动作；视觉语言动作模型（VLA）将预训练的视觉、语言知识融入动作生成，帮助机器人理解场景与指令。

世界模型预测动作可能引起的环境变化，世界动作模型则将未来预测与动作学习结合起来。

这些能力可以共同支撑一项任务，系统则需要根据执行情况决定何时调用哪项能力：抽屉只开了一半，是继续拉开，还是已经可以取物？看不清蓝块的位置，是补充观测，还是调整观察视角？

Agentic Robots 关注的正是这些执行过程中的决策，并通过反馈调整后续行动。VLA、世界模型、规划器与机器人技能可以在同一系统中配合使用，承担不同的功能。

四大领域，串起任务执行与能力开发

完成当前任务，只是 Agent 在机器人系统中发挥作用的一个环节。

如果同类失败反复出现，还需要进一步判断：问题出在动作能力、训练数据，还是训练环境？

这篇综述将这些问题放在同一框架下讨论。

模型（Model）：讨论 Agent 如何参与训练、感知、规划、机器人控制与自适应，回答学什么、如何理解环境、怎样采取行动。

数据（Data）：围绕采集、标注与优化，讨论如何获取经验，并将其整理成可用的数据。

环境（Environment）：涵盖环境重建、任务生成与评测构建，回答在哪练、练什么、怎么检验效果。

Harness：通过编排、记忆、监测与恢复、技能、基础设施和分层系统，协调模型、工具与机器人执行。

这些类别按功能划分，可以共存于同一系统中。例如，一次抓取失败既可能触发重新规划，也可能为后续的数据筛选、技能更新或训练调整提供依据。

〓 图2. 模型、数据、环境与 Harness 四大领域及其 17 个功能类别。

模型：失败之后，该调整哪一环？

一次取物失败，原因可能在不同环节。没看清把手，需要补充观测；抽屉尚未打开就开始抓取，需要调整计划；目标位置判断正确，但抓取角度不合适，则需要修正控制指令。

围绕这些问题，综述将模型领域划分为训练、感知、规划、机器人控制和自适应五个方向，分别讨论 Agent 如何参与能力学习、理解当前状态、制定计划、控制机器人，以及根据经验调整模型。

这些调整的作用范围有所不同。重新观测、调整计划，主要服务于当前任务；改变训练方法或更新模型，则可能影响后续任务的表现。

理清失败发生的环节和改动的作用范围，才能判断一项改进究竟解决了什么问题。

〓 图3. 以开抽屉取物任务展示模型领域五个方向的作用

数据与环境：怎样让每次尝试更有价值？

任务最终失败，不代表整段数据都没有价值。机器人可能已经成功拉开抽屉，也可能在抓空后完成了有效补救。只按最终成败筛选记录，容易遗漏这些有用片段。

数据领域因此关注三个环节：

• 采集决定尝试哪些任务、补充哪些经验；

• 标注为记录补充任务描述、阶段划分与结果信息；

• 优化筛选有效片段，修正不可靠的标签或监督信号。Agent 可以参与这些环节的决策，让执行记录更好地支持后续学习。

获取有用经验，也离不开合适的交互环境。以抽屉任务为例，仿真场景既要还原外观，也要支持拉动、碰撞等与任务相关的物理交互。

环境重建研究如何将观测到的场景转化为机器人可以操作的环境。

任务生成进一步明确目标、约束与成功条件，例如取哪个物体、放到什么位置、需要避开哪些障碍。

评测构建则规定测试场景、复位方式与评价指标，检验机器人在更换物体、调整布局或受到干扰时能否完成任务。

环境与数据由此相互联系：环境提供交互条件，执行过程产生经验，数据处理再将经验整理为学习所需的数据。这些工作是否提升了机器人的能力，仍需通过独立测试验证。

〓 图5. 环境重建、任务生成与评测构建，共同支持机器人学习与测试

Harness：让模型、工具与技能协同执行

即使各个组件能够独立工作，协同执行时仍可能出现问题。

开抽屉的技能返回“执行完成”，抽屉却没有打开到合适位置；抓取模块收到的目标坐标，仍然依据物体移动前的画面生成。一次调用结束，并不意味着任务取得了预期进展。

Harness 是围绕模型构建、支持任务执行的软件与机制。它协调模型、工具与机器人接口，负责组件调用、信息传递和过程记录，并根据执行反馈决定继续、重试还是切换方案。

综述从六类功能展开介绍：

• 编排：协调组件之间的调用与交接。

• 记忆：保存可供后续决策使用的信息。

• 监测与恢复：检查任务进度，识别并处理执行失败。

• 技能：提供可复用的操作方法或可调用的执行程序。

• 基础设施：提供模型与机器人之间的接口和运行支持。

• 分层系统：协调高层推理、动作策略与底层控制。

执行经验也可以通过 Harness 保留并复用。例如，将一次有效的补救过程整理成操作提示或可调用技能，加入技能库，或据此修改后续会复用的执行代码。这些更新可以在不重新训练模型的情况下完成。

经验得到保留，并不意味着能力一定提升。新技能能否用于其他任务、代码修改是否影响原有行为，都需要进一步验证。

当前任务中的成功修正，与后续任务中可复用的改进，需要分开评估。

走向实际应用，还需要解决哪些问题？

公平评测：成功率的提升来自哪里？

更强的底层策略、更完整的观测信息和更多重试机会，都可能影响最终结果。评测需要在可控、可比的条件下考察 Agent 的规划、工具选择和恢复能力，同时报告计算、交互与人工协助的成本。

真机部署：计划能否转化为可执行的动作？

视觉误差、机械臂的可达范围限制和场景变化，都可能导致执行失败。Agent 需要了解技能的适用条件，在信息不足时补充观测，并根据真实反馈确认执行状态，再选择后续操作。

使用效率：何时需要调用大模型？

常规动作可以由已有技能执行，并配合轻量监测；遇到异常时，再由推理模型介入。调用时机需要结合任务进度和响应延迟确定。效率评估应覆盖完整任务，将推理、通信、物理执行和重试的开销一并纳入统计。

跨本体泛化：更换机器人后，哪些经验可以复用？

轮式机器人、机械臂和无人机的传感器、动作接口与运动约束各不相同。部分通用任务经验可能适用，具体操作则需要根据新机器人的能力重新调整。

如何识别这些能力与约束、调整执行方案，以及需要多少额外配置或训练，仍有待研究。

写在最后

这篇综述希望帮助读者理清 Agent 在机器人系统中的作用：哪些决策由 Agent 完成，哪些操作由机器人执行，哪些经验可以保留并复用。

论文与配套文献仓库均已公开，欢迎研究者与开发者阅读、交流，并补充相关工作。

跳转微信打开