AI 受限层与确定性系统分工
AI 受限层与确定性系统分工 是本库从 2025 OpenAI Build Week 的八个获奖项目中归纳出的架构模式:可靠的 Agent 应用很少把核心逻辑完全交给模型,而是让 AI 只承担受限的解释、赋能、审查或文案层,把关键的计算、状态维护、几何/DSP 与验证交给确定性、可审计的系统。这是作者归纳视角,不是某个官方标准术语。
为什么这个分工反复出现
Build Week 的获奖项目横跨医疗、辅助技术、开发者工具、音频与教育,技术差异极大,却不约而同采用了同一层分工。原因很直接:模型擅长理解不规整的输入和自然语言交互,但不擅长也不应被信任去执行需要可复现、可验证、不能出错的核心逻辑。
- 医疗场景要求"不替代临床判断、错误代价高",确定性代码框架之外的任何不明确都要求人确认
- 音频与 3D 重建要求精确的几何和实时 DSP,模型无法可靠替代
- 安全审查要求"不能凭空引用不存在的代码、不能抹掉风险",只能由确定性 probe 兜底
- 辅助设备要求对有限运动能力的用户极低的操作负担,交互必须是确定、即时、可预期的
以下是六个获奖项目的分工形态:
| 项目 | 确定性系统负责 | AI 负责 |
|---|---|---|
| veTriage(兽医分诊) | 分诊流程、危重判断规则、路由逻辑 | 处理导诊对话,但不做医疗决策 |
| Pulse(心脏骤停响应) | 记录复苏流程状态、可审计的计数与时间线 | 解释嘈杂的现场语音(含埃及阿拉伯语) |
| Echo Canvas(空间音频线框) | 几何与声学计算、浏览器内音频渲染 | 在受约束 schema 内创作并讲解场景 |
| Dấu(越南语声调教练) | 信号处理评估声调曲线 | 根据评估结果指导学习者 |
| AirBridge(音频流) | 捕获/流式传输、延迟校准、本机策略层 | 语音控制,且本机策略层裁决动作是否允许 |
| Sentinel(MCP 安全) | 静态分析、Docker 隔离探针 | 在源码上下文内复核结论,但不能凭空写探针 |
三条可迁移的原则
1. 确定性系统拥有"最后决定权"
凡是会产生真实后果的决策(分诊等级、药物时序、允许执行的动作),都应由确定性、可审计的代码做出或复核,模型只负责收集和解释信息。AirBridge 的做法最典型:用一个本地策略层裁决哪些动作被允许,并对着真实硬件验证执行结果,而不是相信模型的指令。veTriage 的核心洞见是"临床需求与医院产能必须分开处理"——模型帮接待员高效完成导诊,但危重判断仍走既定流程。
2. 模型越被约束,越可靠
几个获奖者都指出"约束模型比提示模型更难"(constraining a model is harder than prompting one)。Echo Canvas 作者的原话是:AI 最可靠的角色是受限的创作与解释层,而不是几何或实时 DSP 的替代品。Dấu 的做法是:当证据不清晰时,AI 让学习者重试而不是自信地给出错误答案——明确的"不确定就拒绝"比硬猜更可靠。这指向一个通用设计:把模型的自由输出空间压缩进 schema、白名单与"无法确认就拒绝"的指令。
3. 模型的输出要能被人或确定性探针证伪
信任模型输出不等于全盘接受。Sentinel 让模型只能复核、佐证或挑战静态分析发现,但禁止模型自行编写可执行探针、引用不存在的代码或悄悄抹掉风险;真实的探针由确定性系统基于模板参数化生成。这个约束把"模型可能幻觉"的成本锁定在"它可以辅助分析"的范围,而不会污染证据链。
与相关概念的关系
- Agent Guardrails(Agent 护栏) — 本分工是护栏在架构层的落地:哪个系统握有最后决定权
- 面向 Agent 的工具设计 — 受限的 tool schema 与响应格式是实现"受约束 AI 层"的常用材料
- Closed vs Open Tasks(封闭性任务与开放性任务) — 确定性系统提供客观验证信号,才能让 AI 层的试错与确认有意义
- OWASP Agentic AI Top 10(OWASP 智能体 AI 十大风险) — 安全场景里"AI 不能凭空引用/抹掉发现"的约束对应多项 Agent 特有风险
- Vibe Coding(氛围编程) — 完全把产出交给 AI 的试错式开发,与本分工强调"关键路径保持确定性"是两端