Autoresearch（自动研究）
Autoresearch（自动研究） 是 2026 年前后在 Agent 研究语境中出现的新兴说法，指把 AI Agent（智能体）放进科研或实验优化闭环：Agent 提出改动，系统运行实验，用 Evals（评估）判断结果是否变好，好的改动保留，坏的改动回滚，然后进入下一轮。
这里的 Autoresearch 应理解为一类方法/范式，而不是一个已经统一命名的单一产品或标准框架。论文中常见写法是小写的 autoresearch，并会提到 “Karpathy’s single-track loop” 这类具体基线；本词条用标题化的 Autoresearch 只是为了 wiki 词条展示一致。
它不是"模型自我进化"的魔法，更接近 Loop Engineering（循环工程）在科研场景中的特化：循环本身负责不断试，评估指标负责裁决，执行 harness 负责预算、隔离和回滚。
最小结构
一个最小 autoresearch 循环通常包括：
- 目标说明：优化哪个指标，允许改哪些文件，不允许碰哪些边界
- 候选修改：Agent 基于当前结果提出一处代码、参数或实验设计改动
- 短程实验：运行一个足够快的实验，取得反馈指标
- 客观裁决：指标变好则保留，变差则回滚
- 状态记录：记录已试过的方向、失败原因和当前最好结果
相关论文把 Karpathy 的单轨 autoresearch loop 作为基线之一，并在 GPT 预训练 benchmark 上使用 val_bpb 这类可量化指标讨论改进幅度。这个例子说明：只要研究问题能被压缩成可重复运行的实验和客观指标，Agent 就可以通过大量小步试错寻找人类未必会优先尝试的方向。
值钱的不是 while 循环
Autoresearch 的表面形态很朴素：一个循环反复调用模型、改代码、跑实验、读结果。但它真正值钱的部分在循环外面：
- Eval：指标是否可信、是否足够快、是否难以被 Agent 投机满足
- 预算：单次实验最长多久、总共跑多少轮、失败几次后停止
- 回滚：实验变差时能否恢复到上一个好状态
- 实验日志：能否避免重复尝试同一条失败路径
- 权限边界：Agent 能改什么，不能改什么
没有这些外部约束，autoresearch 只是昂贵的随机试错；有了这些约束，它才可能变成可无人值守运行的实验系统。
与目标说明书的关系
Autoresearch 通常依赖一份自然语言写成的目标说明书，而不是把所有策略硬编码进 Python。说明书定义：
- 要优化的指标
- 实验时间和资源预算
- 允许修改的模块
- 禁止触碰的边界
- 什么结果算成功
- 失败时如何停止和记录
这说明自然语言在 Agent 系统中不只是 prompt，而是一种高层程序：它把人类的目标、边界和评估标准编译进循环。写好这份说明书，本质上是在给研究循环编程。
适用边界
Autoresearch 最适合带有明确量化反馈的封闭问题：训练损失、验证集分数、推理延迟、吞吐量、内存占用、测试通过率等。对于开放性研究问题，它仍然可以生成假设和实验候选，但最终判断通常需要人类研究者介入。
这里的关键不是"AI 会不会科研"，而是问题是否能被工程化为：小步修改 + 快速实验 + 客观 Eval + 可回滚状态。
相关概念
- Evals（评估） — Autoresearch 的外部裁判
- Loop Engineering（循环工程） — Autoresearch 的通用工程框架
- Harness Engineering（驾驭工程） — 提供预算、权限、沙箱、回滚和审计
- Closed vs Open Tasks（封闭性任务与开放性任务） — 决定 Autoresearch 能否自动裁决结果
- Agent Memory（Agent 记忆） — 记录实验轨迹和已验证失败路径