青蛙小白

ETCLOVG Taxonomy(ETCLOVG 分类法)

ETCLOVG 是专为 Harness Engineering(驾驭工程)提出的七层结构分类框架,名称取各层首字母:Execution、Tooling、Context、Lifecycle、Observability、Verification、Governance。由匿名作者于 2026 年在 TMLR 在审综述论文中提出,将 170+ 开源 Agent 项目系统映射到七个层次,揭示生态覆盖格局与设计原则。

前四层(E/T/C/L)构成 harness 的结构核心,后三层(O/V/G)构成控制平面

结构核心:四层

E — 执行环境与沙箱(Execution Environment & Sandbox)

Agent 代码在何处、以何种隔离方式运行。Agent Sandbox(Agent 沙箱)在 Agent 时代同时服务三个目的:安全性(阻断 prompt injection)、可复现性(支持可重置评估环境)、活性(让 Agent 无需每步人工确认即可自主执行)。

七类沙箱:通用托管沙箱(Daytona、E2B、Modal)、Computer-Use 基础设施、代码特化沙箱、框架集成运行时(OpenHands)、浏览器评估环境(WebArena)、OS 级权限沙箱(Anthropic sandbox-runtime)、沙箱抽象层(SWE-ReX)。

T — 工具接口与协议(Tool Interface & Protocol)

外部能力如何被描述、发现和调用。四类集成边界:

边界标准
Model ↔ FunctionFunction Calling(函数调用)(JSON)
Agent ↔ CapabilityModel Context Protocol(模型上下文协议)(JSON-RPC)/ OpenAPI(HTTP)
Agent ↔ AgentA2A / ACP(JSON-RPC)
Agent ↔ RepoAGENTS.md / AGENT.md(Markdown)

核心设计原则:"更少但更好的工具“优于暴力堆叠——工具菜单过大同时提高选择错误率和 prompt injection 攻击面。

C — 上下文与记忆管理(Context & Memory Management)

模型在每步看到什么、知识如何跨轮次和会话持久化。详见Context Engineering(上下文工程)Context Rot(上下文腐烂)。三层时间架构:

  • 短期(活跃上下文窗口):系统 prompt 校准、KV-cache 感知设计、渐进披露(Progressive Disclosure)
  • 中期(会话状态与跨运行持久化):结构化笔记(NOTES.md)、文件化规划
  • 长期(持久记忆系统):MemGPT(OS 内存比拟)、Mem0(向量+图+KV 三存储)、A-MEM(Zettelkasten 动态链接)

L — 生命周期与编排(Lifecycle & Orchestration)

Agent 系统如何跨多次模型调用、工具调用、失败与 handoff 完成任务。三个层级:

  • 单 Agent 内循环ReAct(Claude Code、OpenCode、SWE-agent)
  • 多 Agent 编排:层次化(AutoGen、DeerFlow)、团队编排(oh-my-claudecode)、工作流(Semantic Kernel)、图组合(LangGraph、Hive)
  • 完整生命周期 Pipeline:从 Issue 到 PR(Symphony、GitHub Agentic Workflows)

控制平面:三层

O — 可观测性与运维(Observability & Operations)

ETCLOVG 将 Observability 提升为独立层(而非 Lifecycle Hooks 的副效果),因为它已催生专属工具生态:

  • Tracing 平台:Langfuse、Opik、Arize Phoenix、MLflow;底层标准为 OpenTelemetry(OTel)
  • 成本追踪与优化:TensorZero、Helicone、FrugalGPT(最高 98% 成本削减)、GPTCache(语义缓存)
  • 可靠性工程:MAST(14 类多 agent 失败模式)、AgentFixer(64–88% 问题检测率)
  • Cognitive Observability:Watson(代理 agent 重现推理链)、AgentLens(三栏可视化分析)

生态断裂:LangChain 2026 年调研发现,89% 的团队已使用可观测工具,但只有 52.4% 运行离线评估(offline evaluations)。这意味着大多数团队能"看见” Agent 的轨迹,但还没有把轨迹转化为系统性判断和回归测试——可观测与评估之间存在大量未被利用的闭环机会。

V — 验证与评估(Verification & Evaluation)

评估分数是模型-harness 对的属性,而非模型单独的属性。五阶段任务到反馈生命周期:

  1. Task & Benchmark Grounding:定义被评估什么(SWE-bench、Terminal-Bench、WebArena、OSWorld)
  2. Pre-execution Readiness Validation:验证沙箱、工具、上下文、权限是否正确初始化
  3. Controlled Execution & Trace Capture:在可复现条件下运行并记录完整轨迹
  4. Multi-level Judgement & Failure Attribution:结果级 + 轨迹级 + 评估器级三层判断,并将失败归因到具体 harness 层
  5. Continuous Regression & Deployment Feedback:把评估结果转化为回归测试和 harness 改进信号

轨迹原生评估(Trace-native Evaluation):V 层与 O 层的理想闭环——把生产异常轨迹直接变成回归用例,把轨迹指标作为评估对象,把失败归因结果回写到 prompt、tool、context、orchestration、governance 各层的改进信号中。Agent 评估的对象不是一个答案,而是一段执行过程。

G — 治理与安全(Governance & Security)

五个机制:权限模型与身份管理(Progent、SAGA、IsolateGPT)、生命周期 Hooks(输入/输出 guardrail、信息流控制 CaMeL、人工审批)、组件加固(Instruction Hierarchy、Llama Guard、ETDI 签名工具定义)、声明式宪法(Anthropic Constitutional AI、YAML 配置文件)、审计基础设施(结构化 JSONL audit trail、异常检测)。OpenAI guide 中的 Agent Guardrails(Agent 护栏)可以视为 G 层的实用落地清单:相关性、安全、PII、Moderation、工具分级、规则保护和输出校验分别覆盖输入、动作和输出边界。

跨层综合:三个无法在单层内解决的问题

成本-质量-速度三元悖论:更强沙箱 + 更深评估 + 更严治理 = 更高成本和延迟。生产系统必须决定哪些检查同步运行、哪些异步、哪些放入回归套件——无法同时最优化三者。

能力-控制权衡:每次扩展工具菜单或放宽沙箱权限都增大控制问题。扩大工具菜单 = 更高选择错误率 + 更大 prompt injection 攻击面;持久记忆 = 更强连续性 + 溯源性与隐私风险。能力与控制是同一设计轴的两端。

Harness 耦合问题:沙箱变更影响评估结果(通过包可用性、重置语义);工具描述消耗上下文预算、影响模型行为;可观测性 trace 只有在权限粒度匹配时才能成为治理证据;评估设计反馈到编排(奖励某些恢复循环而惩罚其他)。本地优化可能产生全局回退。

生态格局

基于 170+ 开源项目的映射:

  • 覆盖密集:E、T、L、V(所有 coding/web/terminal agent 都需要可运行环境、工具合约、控制循环和评估)
  • 覆盖稀疏:O、G(更多通过商业平台和 SDK 特性提供,开源端较薄)
  • 新兴类别:任务运行器、多 Agent 编排器、规范驱动开发工具

相关词条

参考来源
  1. 1. https://openreview.net/forum?id=3hXEPbG0dh
  2. 2. https://openreview.net/pdf?id=3hXEPbG0dh
  3. 3. https://github.com/Picrew/awesome-agent-harness
  4. 4. https://openai.com/business/guides-and-resources/a-practical-guide-to-building-ai-agents/
  5. 5. https://developers.openai.com/api/docs/guides/function-calling
评论