清华大学等机构提出ChainVLA模型,通过统一可修正执行状态解决VLA滚动重规划中的状态丢失问题。在RMBench基准平均成功率62.8%,LIBERO套件达98.8%,论文已公开于arXiv。适合具身智能与机器人操作研究人员参考。
Tags:👇扫码免费加入AI知识星球,如您有工作需要分享,欢迎联系:aigc_to_future
解读:AI生成未来
来自清华大学深圳国际研究生院、中国矿业大学、深圳技术大学的研究者提出 ChainVLA:一个 1.2B 参数的视觉-语言-动作(VLA)策略,通过统一的、可修正的执行状态,把滚动重规划中的相邻查询真正串成一条链。ChainVLA 在记忆依赖型操作基准 RMBench 上取得 62.8% 平均成功率,在 LIBERO 四个套件上达到 98.8%,论文已公开于 arXiv。
作者:Yuzhi Huang、Weijue Bu(共同第一作者)、Ziyi Xiong、Jie Wu、Fanding Huang、Jingyan Jiang†、Zhi Wang†(†共同通讯作者)单位:清华大学深圳国际研究生院、中国矿业大学、深圳技术大学 论文链接:https://arxiv.org/abs/2608.02326 项目主页:https://muqy1818.github.io/chainvla-web/
一、问题:VLA 每次重规划都在"失忆"
当前主流的动作分块(action chunking)VLA 策略以"滚动时域"(receding horizon)方式执行长任务:每次查询预测一段有限长度的动作序列,只执行前缀一小段,随后基于最新观测重新规划。这种设计让策略始终"看着当下做决策",却也让相邻两次查询之间没有任何显式交接。
交接的缺失发生在两个层面。任务层面,早前的任务证据可能已经从当前视野中消失:以 RMBench 的 Put Back Block 任务为例,机械臂需要把方块放回一个视野外的目标垫,同一个画面、同一句指令,可能对应"向下按压"或"向上撤回"两种截然不同的下一步。运动层面,上一次预测中尚未执行的动作后缀会被直接丢弃,新规划出的前缀可能与正在执行的运动相互矛盾——同样的观测输入,背后是不同的历史与不同的意图。
二、方法:用统一执行状态给查询"接力"
ChainVLA 的思路是:把两次查询之间需要交接的信息组织为一个统一的、可修正的执行状态,其中包含时间尺度上互补的两个部分。
Progress Context(任务进度):一个循环更新的 Working State 持续摘要当前执行状态,一个稀疏事件记忆(Sparse Event Memory)保存早前关键阶段的观测证据;系统在每次查询时按需检索并融合为进度上下文。于是,即使任务证据已经离开当前视野,它仍然能够影响后续决策。
Motion Tail(运动延续):上一次预测中未执行完的动作后缀通过两条模型侧通路进入下一次生成——既被编码为 Working State 的 token 参与状态构造,又通过对齐的轨迹初始化引导新序列的初始状态。值得注意的是,解码器会在最新观测下重新生成动作序列上的每一个位置:携带进来的状态只是一个"可修正的先验",而不是必须照做的计划。训练阶段按 0.5 的概率随机接入该后缀,让模型同时学会"有交接"与"无交接"两种情形。
两半状态共同条件化一个条件流(conditional flow)解码器:ChainVLA 改变的是解码器跨查询的上下文与初始化,而不更换动作生成器本身。
三、实验:互补的两半,缺一不可
ChainVLA 在记忆依赖型基准 RMBench 与通用操作基准 LIBERO 上进行了系统评估。RMBench 的五个双臂任务都要求在一次任务中完成多次按序放置,跨越多个月牙阶段与多次重规划,正好考察跨查询的状态交接能力。
表 1:RMBench 各任务成功率(%,每任务 100 次试验)。ChainVLA 的 62.8% 超过了已公开结果中完整覆盖全部五个任务的最强方法(Mem-0,52.8%),且每个任务均为前两名。在 LIBERO 的 Spatial、Object、Goal、Long 四个套件上,ChainVLA 平均成功率达 98.8%,其中 Long 套件为 98.2%,体现该机制的通用广度。
更关键的是消融实验揭示的互补关系:
表 2:RMBench 消融(五任务平均成功率)。只保留任何"一半"都远不及完整状态,说明任务进度与运动延续是接力关系而非各自独立;常规替代方案能追回部分性能,但仍落后完整方案 27.2 个百分点。
研究还测量了重规划边界处的运动连续性:在 80 对配对场景中,完整策略相比无 Motion Tail 版本把四类边界误差分别降低 56.6%(位置指令突变)、40.4%(姿态指令突变)、57.4%(边界二阶差分)与 43.1%(重叠区 RMSE)。而仅在解码后"抹平"输出接缝的对照方法(线性延续、时域集成),虽然多数接缝指标更低,任务成功率却至多只有 2%——收益来自生成前携带状态,而非生成后平滑输出。
四、意义与后续
ChainVLA 把滚动重规划从"每次独立的决策"变成"一条连续的执行链":观测侧的任务进度与预测侧的运动意图,在同一个可修正的状态中被继承和更新。对于越来越长的具身操作任务,这种跨查询的状态化组织方式,提供了一个简单而有效的抓手。
参考文献
[1] ChainVLA: Chaining Vision-Language-Action Queries through a Unified Execution State for Long-Horizon Manipulation
技术交流社区免费开放
涉及 内容生成/理解(图像、视频、语音、文本、3D/4D等)、大模型、具身智能、自动驾驶、深度学习及传统视觉等多个不同方向。这个社群更加适合记录和积累,方便回溯和复盘。愿景是联结数十万AIGC开发者、研究者和爱好者,解决从理论到实战中遇到的具体问题。倡导深度讨论,确保每个提问都能得到认真对待。
技术交流
加入「AI生成未来社区」群聊,一起交流讨论,涉及 图像生成、视频生成、3D生成、具身智能等多个不同方向,备注不同方向邀请入群!可添加小助手备注方向加群!
没有评论:
发表评论