青蛙小白

AI 受限层与确定性系统分工

AI 受限层与确定性系统分工 是本库从 2025 OpenAI Build Week 的八个获奖项目中归纳出的架构模式:可靠的 Agent 应用很少把核心逻辑完全交给模型,而是让 AI 只承担受限的解释、赋能、审查或文案层,把关键的计算、状态维护、几何/DSP 与验证交给确定性、可审计的系统。这是作者归纳视角,不是某个官方标准术语。

为什么这个分工反复出现

Build Week 的获奖项目横跨医疗、辅助技术、开发者工具、音频与教育,技术差异极大,却不约而同采用了同一层分工。原因很直接:模型擅长理解不规整的输入和自然语言交互,但不擅长也不应被信任去执行需要可复现、可验证、不能出错的核心逻辑。

  • 医疗场景要求"不替代临床判断、错误代价高",确定性代码框架之外的任何不明确都要求人确认
  • 音频与 3D 重建要求精确的几何和实时 DSP,模型无法可靠替代
  • 安全审查要求"不能凭空引用不存在的代码、不能抹掉风险",只能由确定性 probe 兜底
  • 辅助设备要求对有限运动能力的用户极低的操作负担,交互必须是确定、即时、可预期的

以下是六个获奖项目的分工形态:

项目确定性系统负责AI 负责
veTriage(兽医分诊)分诊流程、危重判断规则、路由逻辑处理导诊对话,但不做医疗决策
Pulse(心脏骤停响应)记录复苏流程状态、可审计的计数与时间线解释嘈杂的现场语音(含埃及阿拉伯语)
Echo Canvas(空间音频线框)几何与声学计算、浏览器内音频渲染在受约束 schema 内创作并讲解场景
Dấu(越南语声调教练)信号处理评估声调曲线根据评估结果指导学习者
AirBridge(音频流)捕获/流式传输、延迟校准、本机策略层语音控制,且本机策略层裁决动作是否允许
Sentinel(MCP 安全)静态分析、Docker 隔离探针在源码上下文内复核结论,但不能凭空写探针

三条可迁移的原则

1. 确定性系统拥有"最后决定权"

凡是会产生真实后果的决策(分诊等级、药物时序、允许执行的动作),都应由确定性、可审计的代码做出或复核,模型只负责收集和解释信息。AirBridge 的做法最典型:用一个本地策略层裁决哪些动作被允许,并对着真实硬件验证执行结果,而不是相信模型的指令。veTriage 的核心洞见是"临床需求与医院产能必须分开处理"——模型帮接待员高效完成导诊,但危重判断仍走既定流程。

2. 模型越被约束,越可靠

几个获奖者都指出"约束模型比提示模型更难"(constraining a model is harder than prompting one)。Echo Canvas 作者的原话是:AI 最可靠的角色是受限的创作与解释层,而不是几何或实时 DSP 的替代品。Dấu 的做法是:当证据不清晰时,AI 让学习者重试而不是自信地给出错误答案——明确的"不确定就拒绝"比硬猜更可靠。这指向一个通用设计:把模型的自由输出空间压缩进 schema、白名单与"无法确认就拒绝"的指令。

3. 模型的输出要能被人或确定性探针证伪

信任模型输出不等于全盘接受。Sentinel 让模型只能复核、佐证或挑战静态分析发现,但禁止模型自行编写可执行探针、引用不存在的代码或悄悄抹掉风险;真实的探针由确定性系统基于模板参数化生成。这个约束把"模型可能幻觉"的成本锁定在"它可以辅助分析"的范围,而不会污染证据链。

与相关概念的关系

参考来源
  1. 1. https://developers.openai.com/blog/build-week-winners
评论