Vision-Language-Action Model（视觉-语言-动作模型）

Vision-Language-Action Model（视觉-语言-动作模型，VLA） 是把相机图像、自然语言指令等输入直接映射为机器人动作的策略模型。中文研究与技术社区已稳定使用“视觉-语言-动作模型”这一译名。RT-2 把机器人动作表示为 token，让视觉语言模型能够输出可执行动作；OpenVLA 等后续工作则把这一路线发展为可微调的通用视觉运动策略。

VLA 与普通 AI Agent（智能体）的角色不同。VLA 通常通过机器人示范数据训练，擅长连续、低层的视觉运动控制；通用 LLM/VLM 更擅长理解任务、分解目标、调用工具和判断策略是否偏离。实际系统可以把两者组合成分层控制栈：

flowchart LR
    I["任务指令 + 相机图像"] --> L["LLM / VLM 监督者\n规划、检查、纠偏"]
    L -->|"接受 / 修改 / 替换"| V["VLA 策略\n生成连续动作"]
    V --> A["机械臂 / 机器人"]
    A --> O["新图像与传感器状态"]
    O --> L
    O --> V

VLA 在控制接口中的位置

Anthropic 的 Embody 实验比较了四种让通用模型控制机器人的接口。它们不是同一道题的不同提示词，而是把不同程度的底层物理问题交给模型：

接口	模型负责什么	底层系统负责什么
直接控制	每一步输出力、力矩或末端执行器动作	只执行数值动作
程序化控制	编写 `controller(obs) -> action` 一类 Python 控制器	高频运行控制器
策略监督	接受、修改或替换 VLA 等预训练策略给出的动作	预训练策略生成低层动作
训练监督	定义奖励、策略网络和训练计划，再部署策略	强化学习与并行仿真完成训练

VLA 属于第三种路径：它把视觉定位、动作连续性和接触控制封装为预训练策略，使上层模型不必逐步驱动关节。机器人能力因此不是模型权重的单独属性，而是模型、机体、控制接口、预训练策略、感知工具和延迟配置的组合。

为什么 VLA 能显著提高控制能力

通用语言模型若直接输出关节力矩或机械臂位移，需要同时解决视觉定位、接触动力学、动作连续性和误差修正。VLA 已从大量示范中学会这些低层先验，相当于把“如何移动”封装为策略接口，让上层模型集中处理“要做什么”和“当前建议是否合理”。

Anthropic 的 LIBERO-40 实验给出了一组直接对照：LLM 直接控制的最佳完整任务成功率只有 5.5%，MolmoAct VLA 单独运行达到 86% ± 2.5 个百分点；加入 LLM 监督后的最佳组合为 76%。因此，VLA 能把系统能力提高几个数量级，但上层监督也可能因为错误覆盖动作而损失性能。

策略监督的关键是选择性服从

上层模型面对 VLA 建议时可以接受、修改或替换动作。只统计 follow rate 不能区分两种系统：一种无论策略对错都盲从，另一种在分布内任务服从、在策略明显失效时介入。

理想监督者需要同时校准两种风险：

错误覆盖：VLA 本来会成功，LLM 因过度自信改坏动作。
错误服从：VLA 遇到新场景持续失败，LLM 仍原样转发动作。

Anthropic 的实验中，所有 LLM 监督组合在熟悉的 LIBERO-40 上都弱于 MolmoAct 单独运行；但在 3 个 MolmoAct 基线全部失败的新任务上，Opus 4.5、Opus 4.6 与 Gemini 3.1 能提供净增益。这说明 VLA+LLM 的价值不只是更高的静态成功率，也包括识别策略适用边界的潜力。

感知工具要提供可操作信息

研究中的额外深度热图和语义分割大多中性或轻微有害；相比之下，可查询游标能返回指定像素处的对象与距离，使 Mythos Preview 在 10 任务子集上的成功率从 6% 提升到 32%。四足机器人实验也呈现相同规律：只提供朝向角度的指南针，比更复杂的深度图更有效。

这与 Agent-Computer Interface（智能体计算机接口）的经验一致：接口价值不由信息量决定，而由信息是否直接消除下一步行动的不确定性决定。对 VLA 或上层监督者而言，明确的方向、距离和动作边界通常比一张信息更密集的辅助图更容易使用。

评估与部署边界

VLA 的“端到端”不意味着系统可以只测一个总成功率。至少要分开检查：

触碰、抓取、移动、放置等中间子目标，避免 0% 完成率掩盖局部进步
熟悉任务与分布外任务，区分记忆策略和泛化能力
VLA 单独运行、LLM 单独控制、VLA+LLM 三条基线
LLM 对正确与错误策略建议的接受率，评估选择性服从
相机视角、动作频率、环境是否为等待模型而暂停、力限制、碰撞和人工接管机制

对物理系统而言，VLA 是权限放大器：上层模型不必学会驱动每个关节，只要能调用一个成熟策略就能影响现实。因此，Evals（评估）和安全审计应覆盖完整控制栈，而不是只评估聊天模型本身。

延迟尤其容易让仿真分数失去部署含义。Embody 的腿式机器人约需 83 Hz 实时控制，而受测非推理模型调用仅约 0.2–0.4 Hz；直接控制与程序化控制实验会暂停仿真器等待模型。因此这些结果更接近“推理足够快时的能力上界”，不能直接当作当前 API 的实时控制成绩。

安全边界也必须放在模型之外。Agent Guardrails（Agent 护栏）应由控制器与环境强制执行，而不是依赖模型自检；实体 Go2 实验中，模型曾把玻璃门中的目标反射当成真实目标并朝门移动，也曾误判垃圾桶位置并发生碰撞。