斯坦福让GPT-6 Astra直接修改机器人参数：只动65行词嵌入，修复一类指令失灵

机器之心 2026-11-13 14:28 北京

含被改词元的 335 条留出指令，成功率从 74.3%升至 87.5%；另外 430 个回合，成败结果逐一不变。

只改 65 行词嵌入，GPT-6 Astra 修复了一类机器人「换种说法就失败」的问题。

任务是打开炉灶。研究者给机器人的指令是「activate the cooking appliances heat source」——启动烹饪设备的热源。原始策略却伸手去拿盘子，执行 300 步后仍未完成任务。

换上修改后的权重，同一个场景、同一条指令、同一个随机种子，机器人在第 78 步完成了任务。编辑过程中没有做梯度更新，也没有新增机器人示范数据。

动图 1｜同一条留出指令，修改前后的机器人行为。左侧原始策略在 300 步超时；右侧编辑后在 78 步成功，随后停留终帧。场景、随机种子 7 和初始状态 0 相同，画面来自真实仿真录像。这是选出的修复案例，完整统计也包括退化回合。

这项研究由 Jusheng Zhang、Keze Wang 和 Liang Lin 共同完成，论文题为《Can LLMs Debug Robots by Editing Their Weights?》。在效果最好的实验中，335 条包含被改词元的留出指令，成功率从 74.3%提高到 87.5%；另外 430 个回合的成败结果逐一不变。这里的「零变化」，指每个回合的成功或失败结果。

论文、实际评测过的权重修改、代码和全部 16 次实验记录均已公开。研究关心的是一个具体问题：机器人已经具备的操作能力，能否通过局部权重修改，被不同的语言表达更可靠地调用？

• 论文：https://arxiv.org/abs/2611.09376

• GitHub：https://github.com/jushengzhang/robot-weight-debugging

• 项目介绍与过程回放：https://jushengzhang.github.io/posts/robot-weight-debugging/zh.html

把 LLM 放在调试器的位置

研究使用 OpenPI 发布的π₀.₅ LIBERO 检查点。它是一种视觉—语言—动作模型：接收相机画面、语言指令和机器人状态，输出接下来要执行的动作。基座已经经过预训练和微调；本次编辑以 LIBERO 操作任务和 LIBERO-Plus 指令改写为测试环境。[1][5][6]

在这套实验里，Astra 负责检查和修改策略的权重。研究者为它提供一个持续保留状态的 Python 工作区，以及可调用的前向工具。Astra 可以查看张量、写入替换值，再检查仿真任务的结果、动作或内部信号。修改确定后，动作仍由被编辑的机器人策略计算。

每次语言编辑有 50 次计入预算的工具请求，一次请求可以包含多个回合或输入。Astra 依靠练习样本的反馈选择候选，最终留出测试的结果不会返回给它。因而，「没有梯度更新」不等于「没有反馈」，更不意味着机器人从未接受过训练。

这使问题从「机器人有没有学过这个动作」，转向了「这条指令在模型里被表示成什么，能不能更可靠地调用已有行为」。

动图 2｜GPT-6 Astra调试机器人权重的真实过程回放。研究者公开了50次工具请求中的关键节点，展示Astra如何根据仿真反馈调整词嵌入、检查候选效果，并最终保留65行修改。左侧为同一指令修改前后的机器人行为，底部展示练习样本结果与工具反馈。

65 行，改在语言进入模型的地方

一条指令进入模型后，会先被拆成词元（token）。词元不一定等于完整英文单词。随后，模型按词元 ID 从嵌入表中取出对应的一行向量，后续网络处理的就是这些数值表征。

Astra 最终保留的修改，集中在这张嵌入表上。它选出一部分词元，把向量移向更常见的任务表达，例如 cooker→stove、basin→bowl、fermented→wine。有些行采用目标向量，有些保留一部分原向量；遇到歧义，也可以使用多个目标向量的均值。

开场炉灶指令里的 cooking，就是一个具体例子。对应词元的嵌入被改为 25%的原向量，加上 75%的 stove 向量。输入给机器人的文字仍然包含 cooking，但进入后续网络的数值表示发生了变化。这一行属于整份 65 行修改，研究没有单独评估它的效果。

其余案例也保留了可检查的对应关系：酒瓶指令中的 fermented、grapes 被移向 wine；取碗指令中的 rounded 被移向 bowl，uppermost 被移向 top。完整词元映射和配对录像均已公开。

65 行共改变 132,768 个参数值，占导出检查点的 0.00367%。这里的「行」是嵌入表的行数，并非 65 个参数，也不是 65 行代码。提交的语言修复只改变这些嵌入值；具体词元 ID、目标行和混合比例都已公开。

此前已有研究探索让通用 LLM 直接读取和改写神经网络权重，即权重空间编程（Weight-Space Programming）。[2] ROME、MEMIT、MEND 等工作也研究模型编辑问题。[8][9][10] 本研究检验的是 LLM 借助权重检查与仿真反馈构造机器人策略修改的可行性，没有与这些编辑算法做直接比较。

765 条留出指令：48 次修复，4 次退化

一例成功视频还不能回答修改是否可靠。研究从同一个原始检查点分别开始三次编辑，三次搜索彼此不继承笔记和修改。候选确定后，再在同一组 765 条留出改写指令上与原始策略配对比较。

表 1｜三次独立编辑搜索的留出结果。测试使用相同的 765 条指令和随机种子 7；三项主要检验经 Holm 多重比较校正后仍显著。三次搜索共享同一测试集，不能当作三组独立测试数据。

效果最好的 C，将成功数从 660 提高到 704：48 个原本失败的回合成功了，同时有 4 个原本成功的回合失败，净增加 44 次成功。整体成功率从 86.3%升至 92.0%，提升 5.8 个百分点，精确配对检验 p=1.31×10⁻¹⁰。

把指令按是否读到被修改的嵌入行分开，变化的位置更清楚：包含被改词元的 335 个回合，成功数从 249 增至 293，对应 74.3%→87.5%；不包含这些词元的 430 个回合，成败结果逐一不变。

表 2｜编辑 C 的词元覆盖分组。完整结果同时计入修复和退化，430 个回合的「零变化」仅指逐回合成败结果。

图 2｜编辑 C 的结果变化集中在含被改词元的指令中。最难一级改写的成功率从 59.8%提高到 78.2%；图中数字来自逐回合记录。

这种局部性有一个直接解释：如果指令没有读取被改动的行，查表得到的文本向量就相同。在相机观察、采样噪声等输入固定时，其余未改动的网络得到的计算输入也相同。但包含这些词元的其他新语境仍可能受到影响，不能据此保证模型在所有任务上都没有副作用。

从炉灶到取碗、酒瓶：修复发生在哪里？

取碗任务中，指令用「darkcolored rounded container」和「uppermost storage compartment」描述目标及位置。被改词元 rounded、uppermost 分别移向 bowl、top 的嵌入。相同场景下，原始策略在 220 步超时，编辑后的策略在 138 步成功。

动图 3｜取碗：原始策略在 220 步超时，编辑后在 138 步成功。

酒瓶任务把目标描述为装着「fermented grapes」的玻璃容器。fermented 和 grapes 对应的嵌入被移向 wine；这条指令还涉及 atop→top 的修改。原始策略在 300 步超时，编辑后在 90 步成功。上述效果来自整份 65 行修改，未对单个词元分别做消融评估。

动图 4｜酒瓶：原始策略在 300 步超时，编辑后在 90 步成功。

这些是从留出测试中选出的修复案例。它们帮助解释模型读到了哪些修改，整体结论仍以全部 765 个回合、包括 4 次退化在内的配对结果为准。完整指令、词元映射和逐回合结果均可在公开代码仓库中查看。

一次高分之后，修改还得经得起下一批样本

最终的 65 行修改，也经历过看起来成功、随后暴露问题的阶段。在一次编辑过程中，原始模型先在 80 条较难的目标任务改写上成功 49 次。Astra 围绕词汇表达提出修改，早期候选在这组诊断样本上做到了 69/80。

换一批样本后，这个候选修复了 8 个失败回合，也让 6 个原本成功的回合退化。旧样本上的高分，没有让这次搜索结束。Astra 继续调整有歧义的词汇映射，形成涉及 65 行嵌入的候选，先冻结修改，再用预留练习样本验证。

对运行错误做同种子重试并去重后，460 个练习样本的成功数从 412 增至 429。最终，Astra 保留了这份修改。选哪些词元、移向哪些目标向量、每行移动多少，均由 Astra 在会话中提出并检查。

这些节点说明了候选怎样被筛选，但不同练习批次的分数不能连成训练曲线，练习中的涨分也不能代替 765 条留出指令上的最终评估。完整试错过程可在公开实验记录中逐次回看。

换一组同义词，就能做到吗？

一个自然的问题是：收益来自 Astra 找到了有意义的词汇对应关系，还是随便做一点参数扰动也能改善结果？研究对相同的 65 个源行做了两种对照。

第一种沿随机方向移动，移动距离与原修改匹配。第二种沿用 Astra 找到的词汇对应关系，把源嵌入完整替换为目标嵌入，也保留多目标均值的设置。这里比较的是嵌入值的完整替换，输入字符串没有被改写。

表 3｜同一组 765 个回合上的对照。完整替换有 2 次、随机对照有 3 次运行错误，在表中按失败计；论文同时报告排除无效配对后的分析。随机方向为本次构造的一个对照实例。

这次随机方向对照没有带来提升。完整替换则已经解释了相当一部分收益：成功率达到 90.5%。这意味着，找到哪些词元需要改、应该移向哪里，本身就是修复的重要部分。

Astra 编辑 C 的成功率为 92.0%，点估计更高，退化也更少；但它与完整替换在 763 个有效配对上的直接比较 p=0.0614，尚未达到 0.05 的显著性标准。因此，现有结果没有确认「部分混合显著优于完整替换」，也没有证明它优于独立编制的人工词表、提示词改写或微调方法。

修不好的，也留下了记录

公开的 16 次机器人实验，还覆盖了相机视角、背景、语言扰动、指令后缀，以及 LIBERO-RECOVER 失败恢复和 LIBERO-PRO 鲁棒性搜索。[11][12] 按论文的最终决定统计，三次语言修复全部保留，且都有显著留出收益；其余 13 次搜索中有 12 次放弃候选，唯一计为保留的后缀跟进也没有显著留出收益，p=0.542。

失败恢复实验很能说明区别。一份修改让机器人空抓后更经常重新张开夹爪，但在一组练习评测中，真正完成任务的次数反而从 213/352 降到 208/352。某个内部信号按预期变化，整个任务却没有变好。

在一次恢复搜索的预留练习验证中，最后一轮预留练习验证共有 288 个有效配对，成功数从 166 降到 164，最终撤回修改。研究没有据此声称修复了留出集上的失败恢复能力。

这使保留或撤回候选，成为与提出修改同样需要检查的结果。不过，12/13 只描述这组运行的决定，还不足以证明 LLM 普遍知道「哪些故障能修」。历史运行还出现过收尾代码未执行、撤回候选留在磁盘的情况；框架 bug 已修复，材料中也区分了归档文件与最终决定。

独立发现：指令末尾的数字也会改变成功率

在 FastWAM 实验中，研究还发现了一种指令格式敏感性：在任务描述末尾加上「view 0 0 100 2 354 initstate 0」一类元数据，策略表现就会明显变化。[14]

相同的 210 个配对回合，FastWAM 使用纯任务指令时成功率为 70.0%，加入后缀后降到 48.6%。作为对照，被测π₀.₅的总体成功率两次均为 88.6%，其中有 9 次改善、9 次退化，逐回合结果并非全部不变。

图 3｜指令格式敏感性。每个检查点分别在相同 210 个回合上比较纯任务指令和带后缀指令。

这一发现尚未变成稳定的权重修复。首轮 FastWAM 归档候选伴随撤回要求，后续实验也没有确认显著收益。因此，它与前面的π₀.₅词汇修复需要分别看待：一个是被观察到的评测现象，一个是已有留出证据支持的编辑结果。

比较只涉及两个已发布检查点。DreamZero、E0.5 等世界动作模型提供了更广的研究背景，但不在本次后缀测试范围内。[15][16] 它给评测留下的问题很具体：报告成功率时，模型收到的完整指令究竟是什么？

第一版已开源，真机验证正在进行

论文标题问的是：LLM 能靠修改权重调试机器人吗？这组实验对一类词汇理解失败给出了肯定结果：少量直接权重修改，让一批留出指令更可靠地调用了策略已有的操作行为。语言到动作的完整因果通路，目前还没有逐层定位。

验证范围也有明确边界。主留出测试使用同一随机种子；早期 200 条留出子集未检出显著提升，随后是在既有完整留出划分上评测同一候选。补充的多种子检查来自练习集，收益不均匀。所有已公开结果均来自仿真，尚未验证真机迁移或新运动技能的获得。

当前开源的是第一版（v1），第二版研究和真机实验正在进行。GitHub 提供实际评测过的 65 行稀疏修改及应用脚本、运行框架、全部 16 次会话和逐回合证据。读者既能检查最终分数，也能沿着记录看见候选怎样形成、哪些修改被放弃，以及结论在哪些条件下成立。

参考文献

1. π₀.₅: a Vision-Language-Action Model with Open-World Generalization

2. Sparks of Weight-Space Programming: LLMs can natively read and write neural network weights

3. π₀: A Vision-Language-Action Flow Model for General Robot Control

4. OpenVLA: An Open-Source Vision-Language-Action Model

5. LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning

6. LIBERO-Plus: In-depth Robustness Analysis of Vision-Language-Action Models

7. Stable Language Guidance for Vision–Language–Action Models

8. Locating and Editing Factual Associations in GPT

9. Mass-Editing Memory in a Transformer

10. Fast Model Editing at Scale

11. LIBERO-RECOVER: Beyond Task Success Towards Failure Recovery in Robotic Manipulation Models

12. LIBERO-PRO: Towards Robust and Fair Evaluation of Vision-Language-Action Models Beyond Memorization

13. LoRA: Low-Rank Adaptation of Large Language Models

14. Fast-WAM: Do World Action Models Need Test-time Future Imagination?

15. World Action Models are Zero-shot Policies

16. E0.5: From Reconstructive to Future-Predictive 3D Foundations for Robotic World-Action Modeling

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：liyazhou@jiqizhixin.com

跳转微信打开