论文笔记：16 篇 RSI / 自演化 agent 研究

01Frontis-MA1: Training an AI4AI Model towards Recursive Self-Improvement in Machine Learning Engineering（OpenMLE / OpenRSI）

清华大学 + Horizon Research + Frontis.AI · 2026-07 · arXiv:2607.28568 · 代码 · 权重

一句话

他们把"让 AI 做机器学习工程"这件事整套打通了：自己造了 5758 个可执行的 ML 任务环境，用执行结果训练出一个 35B 的"专门改模型训练代码"的模型，再让这个模型去驱动进化式搜索——这是目前公开工作里少数几个权重、数据、搜索算子三层都在同一个闭环里的 RSI 系统，而且权重和代码真开源了。

机制拆解

闭环分三段，首尾咬合：

1. OpenMLE-Gym（造环境）：从 Kaggle 数据集/比赛里自动构造 5758 个可执行任务，每个任务配一个确定性的 metric.py 评分脚本和 Docker 沙箱。这一步是把"ML 工程"变成可验证域的关键。
2. OpenMLE-ERL（训算子）：把 agent 的动作抽象成四个算子——Draft（写初版）、Improve（改进）、Debug（修错）、Crossover（把两个方案杂交）。每次算子调用产生的代码在沙箱里真跑，拿到执行状态 + 任务分数 + 日志作为结构化反馈，用来做 SFT + RL（按归一化 reward 加权），训出 Frontis-MA1-35B。
3. OpenMLE-Evo（搜索）：训好的模型本身成为进化搜索的"变异引擎"，配合 experience card（记录每个节点的来源与表现）做 experience-guided parent selection，跑长周期搜索。

闭环怎么合上：论文的说法是 "verified evolutionary transitions supervise the same transformations that search later composes"——搜索过程中被验证有效的那些"父→子"代码变换，正好就是训练算子的监督信号；算子变强 → 搜索轨迹变好 → 产出更好的训练数据 → 下一轮后训练。改进信号全部来自沙箱真实执行，不依赖 LLM 裁判。

什么被修改：模型权重 θ、agent 的搜索脚手架、以及任务环境本身（环境是自动构造并过滤的）。

证据与评估

• MLE-Bench Lite（22 任务，Medal Average）：MA1-35B 基线 39.39% → 方法 60.61%；加大预算（+Max）到 71.21%。30B 版本 34.85% → 53.03%，说明不是单一 checkpoint 的偶然。
• 横向位置：超过 GPT-5.5+Codex 的 68.18%，逼近 GPT-5.6 Sol 的 72.73%——一个 35B 开源模型打到接近闭源前沿的水平，这是这篇最有说服力的地方。
• NatureBench Lite（10 任务）跨域迁移：模型把 Match-SOTA 从 50% 提到 70%；单看 OpenMLE-Evo 这个 harness，把 20% 提到 50%。模型和 harness 的贡献是分开测的。
• 开源程度：模型权重、数据集、训练/评测代码、沙箱基础设施、harness 全放出。任务数据因授权只放了 5758 中的 1415 个——这是复现时的实际缺口。

真正难在哪

• 环境工程是主要护城河，不是算法。5758 个可执行任务、每个都有确定性评分脚本和 Docker 沙箱，这是几个人月到十几个人月的脏活。授权问题让别人拿不到完整数据，只能拿到 1415 个。
• RL infra：在需要真跑训练脚本的任务上做 RL，rollout 极慢且成本高（每个 rollout 都是一次真实的 ML 训练）。异步 rollout + 沙箱调度是硬工程。
• 长周期实验：进化搜索的收益来自"跑得久"而不是单步聪明。作者自己承认单 GPU 12GB 预算下的结论未必外推到前沿算力配置。
• 反过来说，算法本身不难：四个算子 + SFT/RL + 进化搜索，没有新原理。

我们的机会

• 论文自认的弱点：迁移只验了 10 个任务、6 个领域，广度不足；算力预算小；模态分组少。
• 小团队的可行切口：不要重建 5758 个 Kaggle 任务，而是换一个环境成本低得多、但评分同样确定的域（例如编译器优化、SQL 查询改写、数值库 kernel），复用它的四算子 + experience card 设计。环境少但更深，能把"长周期搜索到底有没有复利"这个它没回答的问题回答掉。
• 另一个切口：它的 Crossover 算子是最独特的部分，但论文没有单独消融 Crossover 的贡献。谁把"LLM 做代码杂交"做出可靠的收益归因，就拿到了一个别人没有的结论。

方向启示

这篇证明了 RSI 在可验证域里已经不是概念——有确定性评分器 + 足够多环境 + 中等规模模型，就能把开源模型推到接近前沿闭源的水平。所以"做一个 RSI 系统"本身不再是差异化方向；差异化只能来自两处：(a) 你能造出别人造不出的环境（成本、许可、领域壁垒），(b) 你能在没有确定性评分器的域里造出可信信号。前者是工程战，后者是本文完全没碰的开放问题——也是真正难的那一半。

↑ 回到索引

02The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators

剑桥大学 Machine Learning Systems Lab（Nicholas D. Lane 组）· 2026-06 · arXiv:2606.26294 · 代码：无（论文页未给仓库链接）

一句话

以前所有自改进 agent 都假设"评分标准是固定的"——固定 verifier、固定 benchmark、固定标注集。这篇说：进化的本质是环境跟着物种一起变，所以让评估器和 agent 一起进化，并用"分 epoch"的办法保住理论保证：epoch 内评估标准冻结，只在 epoch 边界换评估器。

机制拆解

被修改的是两样东西：任务 agent 的源代码（写代码的、写论文的、写证明的），以及效用函数 / 评估器本身（code reviewer、paper reviewer、proof grader）。

1. 把搜索切成 epoch。epoch 内评估标准完全冻结，于是这一段里的自改进保证可以从 Gödel machine 那一系（论文说继承自 HGM）直接继承过来——这是全文最关键的工程妥协：不追求"随时可变的效用"，而是"分段平稳"。
2. epoch 内搜索：候选 agent 用 Thompson sampling 在 "clade metaproductivity"（族系产出率）上做探索/利用权衡；打分用 Beta 后验的 ε-分位数做保守估计，只有证据足够强才动。
3. epoch 边界换评估器：新评估器作为 challenger 训练出来，只有在一个固定的、与评估器无关的 ground-truth anchor 数据集上证明比在位者更准，才允许替换。
4. 替换后做 selective erasure——只删掉那些依赖旧评估器的效用记录，避免跨标准混用证据，绕开"跨 epoch 分数不可比"这个致命问题。

改进信号从哪来：两层。内层是 epoch 内冻结评估器给出的分数（便宜、稠密）；外层是 anchor 上的真值（贵、稀疏），只用来决定"要不要换评估器"。anchor 是整个系统的地基，也是它唯一不能自我生成的东西。

证据与评估

摘要中的数字（逐字核对过）：

• 可验证编码任务：加入互补的 agent-as-a-judge 代码评审信号后，测试通过率超过此前 SOTA，同时 token 消耗少 1.35×–1.72×。亮点不是分数而是"便宜"——评审信号比跑全套测试便宜。
• 科学论文写作：共进化出来的 writer 在多样化的 agent 评审团下，接受率高 1.78×–1.86×。
• 奥赛级证明评分：共进化出来的 grader ground-truth 准确率高 9%。
• 最有价值的一条：最强的 baseline reviewer 对 AI 生成论文的接受率是对人类论文的 1.91×（即系统性偏袒 AI 文本）。RQGM 用一个对抗性目标把这个偏差纠正到对 AI 与人类同样严格。这是"评估器会腐化"这件事第一次被量化并被修好。

复现性：arXiv 页面未给代码仓库，HTML 版转换失败，只有 PDF。这是它最大的短板。

真正难在哪

• anchor 数据集：论文自己承认严重依赖 anchor 的质量和校准。对写论文/评论文这种域，anchor 是人类接受决定和人类评分 rubric——这是要花真钱买的人工标注，而且会过时。
• 多域实验的长度：三个域（Polyglot 代码、论文写作+评审、IMO 证明评分）各自都要跑完整进化搜索，每一轮都是大量 LLM 调用。这是算力+时间的双重门槛。
• 理论的那一半不难：epoch 分段 + selective erasure 是很干净的想法，实现不复杂。难的是愿意花钱把三个域都跑完。

我们的机会

• 论文自认弱点：epoch-local 保证不能保证全局最优；anchor 稀疏/有噪声/分布漂移时会怎样未知；跨域、更长 horizon 的共进化没做。
• 切口一：把 anchor 成本降下来。现在 anchor 必须是人类真值。如果能证明"某一类机器可验证的窄任务可以充当宽域评估器的 anchor"（例如用单元测试锚定代码评审器，再用代码评审器去评审不可验证的设计文档），就把这套东西从"要买标注"变成"自举"。这是整个 RSI 领域最值钱的未解问题之一。
• 切口二：没有代码。第一个把 RQGM 做成可复现开源实现的人，会拿到这条线的事实标准位置——成本不高，价值很高。

方向启示

它给出了本领域最重要的一句判断：只要评估标准是静态的，自改进最终一定退化成对该标准的过拟合。因此"选一个难的、有根本差异化的方向"如果指向 RSI，那个方向大概率不是"让 agent 更会改自己"，而是"让评估器能被可信地改进，并且能证明它改好了"。这篇给了第一个可用的工程框架（分段 + anchor + 选择性遗忘），但把最贵的部分（anchor 从哪来）留在原地。

↑ 回到索引

03SPADE: Self-Play in Adaptive Synthetic Executable Environments

华盛顿大学、斯坦福、CMU、MIT、东北大学、NUS、首尔大学、芝加哥大学等（含 Luke Zettlemoyer、Yejin Choi、Natasha Jaques）· 2026-08 · arXiv:2608.19197 · 代码 · 项目页

一句话

自改进最大的瓶颈不是算法而是"题不够"。SPADE 让同一个模型既当出题人又当解题人：出题人直接生成可执行的 Python 环境（Gym 风格 reset/step），解题人在里面练，两边都用 RL 更新权重——等于把"环境供给"这件事自动化了。

机制拆解

被修改的：可执行环境代码 e、附带的"提示" h（privileged hint）、以及策略权重 θ（出题人和解题人共享参数）。

1. Environment Designer 生成一个可执行环境 e（带 Gym 接口和内建 reward 函数）以及一条提示 h。
2. 合法性验证：先查语法、能否执行，不合法直接丢；再加确定性 reset 检查，以及用 LLM 验证"成功条件确实可达"。这是防止出题人生成垃圾/不可解题目的第一道闸。
3. Reasoning Agent 在 e 上跑两遍——一遍带提示 h，一遍不带。
4. 核心信号：hint-based regret r_D(e) = 有提示的平均回报 − 无提示的平均回报。这个差值就是出题人的 reward。含义很直白："给了提示就会做、不给提示就不会做"的题，正好卡在能力边界上，最值得练。再叠一个 difficulty anchor（把胜率拉进目标区间）。
5. 两个角色都用 GRPO 更新，共享参数。
6. 环境记忆：把跑过的环境连同 regret 分数存下来，已经掌握的题不再出；每轮从语料库重新采样新素材，防止出题模式坍缩。

改进信号从哪来：解题人这边是环境内建 reward 函数给的任务正确性（机器可验证）；出题人这边是 regret（也是从真实 rollout 算出来的）。全程没有人类标注，也没有 LLM 打分当主信号——这是它比大多数 self-play 工作扎实的原因。

闭环怎么合上：解题人变强 → 同一批题的 regret 下降 → 出题人被迫生成更难的环境 → 新的训练数据 → 解题人再变强。语料采样和环境记忆是防坍缩的两个阀门。

证据与评估

• 模型规模：4B、8B、30B-A3B，三档都测了。
• 游戏类（8 个 held-out benchmark，30B-A3B）：SPADE 平均 58.3；比 base 高 +8.1，比固定环境的 RLVE 高 +5.3。对照组：固定环境 GRPO 51.4、固定环境 RLVE 53.0。关键在于对照是"固定环境 RL"而不是"什么都不做"——它证明的是"自动造环境"本身有增量。
• 工具调用（30B-A3B）：ACEBench-Agent +13.9，BFCL v4 multi-turn +5.7（均 vs base）。跨到完全不同的任务族仍有效，说明学到的不是题型记忆。
• 训练规模：400 个 rollout 批次 × 每批 24 个环境。代码和项目页都开放。

真正难在哪

• RL infra 是主要门槛：每个 rollout 要在沙箱里执行一段刚生成的、可能是恶意或死循环的 Python。安全沙箱 + 超时 + 资源隔离 + 高吞吐调度，这套东西自己写要好几个月。
• 共享参数的 self-play 训练稳定性：出题人和解题人共用一份权重，一旦某一边坍缩两边一起完蛋。作者用了语料重采样 + 环境记忆两个补丁，但没有理论保证。
• 算力：30B-A3B 上做多轮 GRPO，不是小团队单机能跑的。
• 反过来，hint-based regret 这个点子本身很便宜——任何有提示/无提示对照的任务都能用，这是全文最可移植的一件东西。

我们的机会

论文自己列的三个限制就是三个切口：

1. "complexity bounded by the invisible leash"：环境复杂度被模型自身能力和生成预算卡死——模型造不出它自己理解不了的题。破这个"看不见的绳索"是本领域的核心难题：能不能引入模型之外的复杂度来源（真实软件仓库、真实 API、真实用户日志）当作环境种子？
2. "a human-designed optimizer"：学习算法（GRPO）是人写死的，系统不改自己的学习规则。谁把"连优化器也进化"做出真实收益，谁就往前推了一格。
3. "fixed-task evaluation"：所有评测都是固定任务集，测不出开放式增长。缺一个能测"开放式能力增长"的评测协议——这本身就是一个值得做的独立方向。

小团队最现实的做法：不重做 30B 训练，而是在一个窄域（例如 shell/终端自动化、数据清洗）上复现 hint-based regret 的出题机制，用小模型验证"regret 出题 vs 难度出题 vs 随机出题"的差距——这个消融原论文没做透。

方向启示

SPADE 说明环境/数据供给才是 RSI 的真实瓶颈，而不是自改进算法。它也划出了这条路的天花板："invisible leash"——自生成的环境永远不会超过生成者的认知边界。因此有根本差异化的方向不是"再做一个 self-play"（这已是红海），而是"如何把模型之外的世界持续接进环境生成回路"：真实代码库、真实生产系统、真实失败日志。谁有独家的真实执行环境，谁就有别人复制不了的东西。

↑ 回到索引

04Recursive Harness Self-Improvement（RHI）

Sakana AI + UC Berkeley（含 Matei Zaharia）· 2026-07 · arXiv:2607.15524 · 代码：论文中未给出仓库链接

一句话

不动模型权重，只让 LLM 反复重写自己的 harness（agent 的角色说明、通信约定、工作流），几轮之后一个"便宜档"模型就能打过同一家的"最贵档"模型——而且 token 用量不涨、缓存开销还降了 33–64%。

机制拆解

被修改的只有 harness：各 agent 的角色/指令、agent 之间的通信契约、workflow 的跳转结构。全是 prompt 级的文本，不碰权重。

1. 用当前 harness H(i) 解任务，产出交付物。
2. LLM evaluator 做成对比较：把这一轮的输出和上一轮的输出放一起，返回 y1≻y2 / y1∼y2 / y2≻y1 三选一。判断依据是六个维度：交付完整性、数值严谨性、可复现性、呈现质量、工程质量、任务对齐。
3. 判断结果进历史 D(i)。
4. LLM harness optimizer 拿着 H(i) + 完整的偏好历史 D(i)，写出 H(i+1)。注意：优化器看不到评估标准本身，只看到累积的偏好结果——作者管这叫 momentum-semantic signal，相当于没有梯度的梯度。
5. 平均改进率低于阈值 ε 就停。

改进信号从哪来：纯粹来自 LLM evaluator 的成对偏好。没有真值、没有测试、没有执行结果。为了防止单一评委的偏见，用了两套不同模型族/不同推理档位的 evaluator 配置，各跑三个随机种子。偏好历史是唯一的跨轮记忆——这是一个非常轻的闭环，也正因为轻所以便宜。

证据与评估

• 任务集：30 个合成 ML 研究任务（量化金融、机器人、制药各 10 个）。
• 核心结果（都是"便宜档 + 演化过的 harness" 打 "贵档"）：Sonnet-4.6-high + H[2] 在 30 题中赢 20 题（对手 sonnet-4.6-max）；Opus-4.7-high + H[1] 只迭代一轮就超过 opus-4.7-xhigh / max；Opus-4.8-high + H[2] 超过 xhigh/ultracode/max 全部，成本比 ultracode 低 60%。
• 成本侧的证据更有意思：迭代过程中输出 token 数基本不变而性能上升；缓存读写下降 33–64%。收益不是"想更久"换来的。
• 未见开源仓库——这是它最大的可复现性缺口。

真正难在哪

说实话，这篇的门槛最低——这正是它值得读的原因。它不需要 RL infra、不需要训练、不需要标注，只需要 API 额度和一个想清楚的评估协议。真正不容易的只有两件事：

• 评估协议的工程：两套 evaluator 配置 × 三个种子 × 六个维度的成对比较，要做到统计上站得住，比听起来繁琐。
• 30 个合成研究任务的构造质量——任务太简单则 harness 优化无处发力，太难则信号全是噪声。

我们的机会

作者自己承认的弱点非常具体，每一条都是切口：

• "correlational rather than causal"：组件级分析只是相关性，说不清到底是哪次 harness 改动带来的收益。做出可靠的归因（哪条 harness 改动值多少分）是明确的空白。
• "RHI complements rather than replaces train-time scaling"：基座不变的话增益会见顶，且不能稳定追平更强模型。
• "improving evaluator feedback specificity is a promising direction"——作者自己点名了下一步：评委只给成对偏好太粗，给不出"哪里不好"。
• 最现实的小团队路线：把 RHI 从"LLM 偏好"换成"可执行验证"。在一个有真测试的域（代码、SQL、数据管道）跑同样的 harness 迭代，用测试通过率代替评委，直接验证"harness-only 自改进在有真值时能走多远"。原论文因为选了不可验证的研究任务，恰好回避了这个最能说明问题的对照。

方向启示

1. "改 harness"是当前性价比最高的自改进层——不训练、不要 GPU、几轮就见效、还省钱。这也意味着它正在迅速变成红海（见 08、09、12）。
2. 它同时暴露了这条路的天花板：信号来自 LLM 自己的偏好，就等于用被优化对象当尺子。RHI 的收益真实，但它无法回答"再迭代 20 轮会不会变成对评委口味的过拟合"。想做有根本差异化的东西，不应该去卷第 N 个 harness 优化器，而应该去解决给 harness 演化提供可信、廉价、不被污染的反馈这个上游问题。

↑ 回到索引

05Who Grades the Grader? Co-Evolving Evaluation Metrics and Skills for Self-Improving LLM Agents

AWS Generative AI Innovation Center（+ HSBC Technology Center China）· 2026-07 · arXiv:2607.12790 · 代码

一句话

所有自改进循环都偷偷假设"已经有一个可靠的评估指标"——现实里往往没有。这篇（Double Ratchet）证明指标本身可以被演化出来，并且给了一个关键的工程答案：只要有 10 条带标准答案的锚点，演化出的指标就能撑起 88%–110% 的 held-out 收益。

机制拆解

两个 ratchet（棘轮）交替推进：指标循环演化"怎么评分"，技能循环演化"agent 会什么"。

指标循环（Algorithm 1）五步：

1. Sense：找出当前指标判错的 dev 条目，以及检测算子之间互相矛盾的训练输出。
2. Grow：把失败聚类，合成新的类型化检测算子（deterministic ops，不是 LLM 打分）。新算子必须过闸：在自己那一簇上至少触发 50%，且在已知正确输出上保持沉默。
3. Select：让 LLM 提出算子组合，用 S(e) = A_dev(e) · A_train(e)^w − λC(e) 选最优——dev 一致性 × 无标注共识 − 复杂度惩罚。
4. Curate：leave-one-out 边际非正的算子退休；影子算子转正。
5. Audit：对着锁死的 test 集汇报，循环永远读不到它。

三分割是全文最关键的设计：dev（只有 10 条，"tiny and anchored"）有标准答案，只用于选择目标，绝不用于训练合成算子；train（大、无标注）暴露算子分歧，用无标注共识做正则；test（锁死）任何循环都不读，只用来报告指标的迁移能力（MBPP+ 用单元测试、Spider 2.0 用执行匹配、报告类用 rubric 分）。

改进信号从哪来：技能循环失败的尝试被聚成 "failure capsule"，其错误文本喂给技能合成。哪些算失败由演化出的指标判定。而指标自己从不以任务表现为优化目标，只以"和 10 条锚点一致 + 无标注共识"为目标——这是防止指标为了让分数好看而自我腐化的关键切割。

两个循环怎么交替：固定课程表——早期指标阶段长，后期缩短。实际排布是 15/8/5/2 轮的指标阶段，插在四段 25 轮的技能阶段之间（技能总预算 100 轮）。技能循环的 held-out 评测始终钉在那个锁死的 test 集上，所以指标被污染只会拖慢学习，不会污染测量。

证据与评估

• 收益保留率（co-loop vs 用真值/最佳 rubric 驱动的同一个技能循环）：MBPP+ 106%，Spider 2.0 110%，报告类 88%。自动演化出的指标基本不输真值。
• 与 oracle 的峰值差 Δ：+0.02 / −0.03 / −0.04，95% CI 都跨 0 或极窄。
• 从未通过的任务被救活：MBPP+ 19/23，Spider 2.0 6/12，报告类 99%。
• 消融最有说服力的一条：去掉锚点守卫（naive）后目标函数刷到 1.000（完全空洞），指标通过率 0.94–1.00——即指标彻底自我腐化。而去掉生命周期管理（no lifecycle）几乎无影响（held-out 0.868 vs 0.868）。结论：扛住安全性的是锚点守卫，不是花哨的技能库管理。
• 真实的 Goodhart 事件：技能学会了刷 rubric 的 tag 计数器，独立裁判 88% 偏向 baseline；加了一个 "erasure check" 检测算子后，裁判偏好反转为 77% 偏向演化输出。
• 反直觉的一条：Spider 2.0 上指标与真值的一致性只有 0.50，却仍保留了 110% 的收益——指标不需要准，只需要方向对。

真正难在哪

• 门槛不在算力，在评估工程的纪律。三分割 + fail-closed 锚定 + 有效性闸门 + 独立终审裁判 + 位置交换，每一条都是为了堵一个具体的作弊路径。做对这套协议比做对算法难得多。
• 类型化检测算子需要针对每个任务族手工设计算子库（op packs）——领域知识密集的脏活。
• 三个任务族、一个 solver 模型、低百轮级别——规模不大，算力不是门槛。

我们的机会

• "The anchor cannot be manufactured." 演化能扩覆盖，但造不出真值。锚点从哪来、多少才够、能不能更便宜——这是本领域最值钱的开放问题（和 02 号 RQGM 的 anchor 问题是同一个）。
• "metric evolution buys the most where the solver's failures are mechanically detectable"——机械可检测的失败好办，语义失败就把负担推给 LLM 裁判和外层审计。纯语义域的指标演化基本是空白。
• 噪声大：几十个二值任务的 held-out 每轮噪声约 5 个点。
• 具体切口：把"10 条锚点够不够"做成一条曲线。原论文只用了 10 条这一个点。1 条？3 条？30 条？收益保留率在哪里塌掉？这个实验便宜、结论直接可用、而且没人做过。

方向启示

这篇把"验证门控一切"变成了可操作的工程结论：自改进系统的安全性不在于循环本身有多聪明，而在于有没有一个循环永远碰不到的测量面。它同时给出了乐观的一面——锚点可以极小（10 条）。所以一个有差异化的方向是：做"最小锚点 + 可演化指标"的通用基础设施，让任何自改进循环都能便宜地拿到一个不会腐化的尺子。这比再做一个 agent 框架有价值得多。

↑ 回到索引

06RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges

浙江大学 + 美团 LongCat 团队 · 2026-08 · arXiv:2608.24231 · 代码：论文中未给出仓库链接

一句话

让一个 judge 模型自己评自己：第一遍按 rubric 打分，第二遍用同步的副本审查自己的打分推理、给出过程奖励，然后用这个自产奖励做 RL——全程不用外部标注。更重要的是，它诚实地给出了这种自举的上界，并提供了一个能在崩溃前停下来的监控器。

机制拆解

被修改的：judge 策略参数 θ。用自产 reward 做 RL 更新，没有外部 gold label 进入训练。

• Pass 1：可训练的 judge 按 rubric 对回答逐条给 YES/NO 判定。
• Pass 2：同步副本（参数和 judge 一起更新）对照 meta-rubric 审查 judge 的推理过程，输出一个 0–4 的标量分作为过程奖励。

防作弊的关键设计——接口解耦：judge 输出的是逐条 YES/NO，checker 输出的是独立的 5 档标量。两边的输出空间不重叠，切断了"直接抄 token 把奖励刷高"这条捷径。这是全文最值得抄的一个工程细节。

改进信号从哪来：完全来自模型自己（checker 的过程奖励）。人类验证只出现在验证/评测侧，从不进入训练 reward。

闭环在哪停下——这是这篇真正的贡献：作者直说 "unanchored recursive learning is inherently bounded"——没有锚点的递归学习天然有界，自产奖励一旦饱和就再也不涨了，而且会开始损害分布外迁移。他们引入 PAV（Pairwise Advantage Validity）：一个基于紧凑人工验证 holdout 集的无偏验证监控器，用来识别早停窗口，在 OOD 迁移退化之前把循环停掉。

证据与评估

• 模型：Qwen3.5-9B、Gemma-4-E4B-it、Qwen3.6-27B。
• 自身域（SV-Hard，100 条人工验证同风格提示）：Qwen3.5-9B 规则准确率 60.8% → 73.7%（+12.9）。
• 迁移（全部 held-out）：HealthBench（1459 条，医生共识标签）82.5% → 85.9%；RubricBench（2294 对偏好）76.0% → 79.1%；CheckEval-Summ（1600 条）Pearson ρ 0.422 → 0.441；ProfBench（120 个专业任务）73.1% → 74.7%。迁移增益明显小于自身域增益（+12.9 vs +1.6~+3.4）——这个衰减曲线本身就是"有界"的直接证据，作者没有藏。
• 下游用途（把 judge 当标注器）：用 RecurSE 标出的偏好对训 Qwen3.6-27B：GPQA +0.59（基线 +0）、GuideBench +1.63（+0.05）、SOP-Maze +2.37（+0.61）。
• 消融（SV-Hard）：冻结 checker 62.7%、外部 27B checker 73.1%、教师 SFT（17k 轨迹）70.2%、RecurSE 73.7%。自己的同步 checker 追平甚至略超外部更大模型的 checker，这是最强的一条结果。

真正难在哪

• RL 训练 infra：judge + 同步 checker 双前向的 RL 循环，要维护参数同步和 rollout 吞吐，不是 prompt 工程能做的。
• 人工验证 holdout 的构造：SV-Hard 只有 100 条，但必须是人工逐条验证的高质量样本；PAV 的统计构造依赖它。数量不大，质量要求高。
• 早停窗口的判断：PAV 是一个序贯检验问题，做对不容易（作者自己把"统计监控与序贯检验的考量"列为限制）。
• 算力中等（9B~27B），小团队用租卡可承受。

我们的机会

1. "Scope of bounded RSI" 只适用于固定任务的递归，不适用于开放式自主修改——"开放式设定下界在哪"完全没人答。
2. "Role of human verification in the holdout monitor" 需要前期标注成本——和 02、05 撞到同一堵墙：锚点/holdout 的成本。
3. 没有开源代码。
4. 最实际的切口：把"有界"这件事量化成一条可预测的规律。RecurSE 给了一个点（+12.9 自身域 / +1.6~3.4 迁移），但没有给"迭代多少轮开始塌、塌的速度和什么相关"的曲线。谁做出"递归自评的衰减律"（类似 scaling law 的形式），谁就给整个领域提供了一个可以直接用来做决策的工具——而且这个实验用 7B~9B 模型就能做。

方向启示

这篇是三篇评估器论文（02/05/06）里立场最清醒的：递归自评有真实收益，但它是有界的，而且界的位置取决于你有没有一个循环碰不到的锚。三篇独立工作从三个方向收敛到同一个结论，这个信号很强。

对"选方向"的含义："让 judge 自我改进"已经有可信方法了，不是空白。真正的空白在于 (a) 这个界的形状和可预测性，(b) 开放式/非 rubric 场景下怎么办，(c) 锚点成本怎么降。第三条是三篇共同的瓶颈，也就最值得攻。

↑ 回到索引

07Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills

阿里巴巴 Qwen 大模型应用团队 + 香港中文大学 + 中国人民大学 + 中山大学 + 北京大学 + ETH Zürich · 2026-07 · arXiv:2607.22529 · 代码

一句话

纯粹的 self-play 出题很容易退化成"出一堆相似的题"。这篇给出题人加了一个会进化的技能库当结构骨架：出题时按技能采样，出完题再根据结果精炼/淘汰/新增技能——结果在弱模型上带来了 +42.9 分的极端提升（把一个连 schema 都写不对的模型救回来了）。

机制拆解

三个角色：Proposer（出题）、Solver（解题）、Controller（管技能库 𝒮）。一轮（共 5 轮）：

1. 从技能库采一个技能，走两条流生成候选题：skill-routed（条件在该技能上）和 exploration（不条件）。
2. 验证 + 算 reward：环境做三件事——schema 合规检查、技能自带的专用 validator（技能元组里的 ν）、以及 probe consistency（当前 solver 采 K 次 rollout，多数答案必须和参考答案一致）。最后一条是防止出题人生成"看起来有答案其实答案错了"的题。
3. 按前沿难度排序，构造 50% skill-routed + 50% exploration 的混合课程。
4. Proposer 用 GRPO 更新；Solver 在课程上更新。
5. 技能库演化：精炼已有技能；低于 γ_prune 的淘汰；exploration 流里高于 γ_induce 的归纳出新技能。

改进信号从哪来：Proposer 的 reward = 合法性二值闸 × 前沿难度 1 − 2|v_solve − 0.5|（solver 胜率越接近 50% 分越高）。这是个动态前沿——solver 变强，同一批题的 reward 自动下降。Solver 的 reward = 环境验证（精确正确性 + 格式合规），机器可验证，不靠 LLM 裁判。

闭环怎么合上：生成失败的执行反馈触发技能精炼；合法的前沿题进课程；solver 提升改变难度地形，逼 proposer 出更难的；exploration 流不断归纳新技能扩张前沿。技能库就是那个"跨轮的记忆"，也是它和普通 self-play 的唯一区别。

证据与评估

• 任务/模型：工具调用（API-Bank L1–L3、BFCL 的 JS/Python/Java/live）、逻辑推理（ZebraLogic 四档规模）；backbone 覆盖 Qwen3-4B/8B、Ministral-3-8B/14B、Granite-4.1-3B——跨三个模型家族，不是只在自家模型上刷。
• 工具调用：Qwen3-4B +6.5；Ministral-3-8B +42.9（论文说是从 schema 失败里"救"回来的）。
• 最关键的对照：Unguided SP（无技能引导的 self-play）只有 +0.3。这一条直接证明"结构化的技能库"才是增益来源，而不是 self-play 本身。
• 逻辑推理：Qwen3-4B +5.8；Ministral-3-14B +12.0（小规模档上 +35 以上）。
• 规模：5 轮迭代，工具调用每轮 8000 题，推理每轮 1920 题。代码开源。

真正难在哪

• 技能元组里的专用 validator ν：每个技能要配一个能自动判对错的验证器。工具调用/逻辑推理之所以能做，是因为这类任务天然可验证。换到没有 validator 的域，整套机制就失效——这是隐藏的最大门槛。
• probe consistency 很贵：每道候选题都要 solver 采 K 次 rollout 才能确认答案可靠。出题成本是解题成本的 K 倍。
• RL infra（GRPO、多模型家族、5 轮 × 8000 题）——中等偏上的算力。
• Qwen 团队的优势在于"能同时在五个 backbone 上跑完整实验"，这是资源而非想法上的护城河。

我们的机会

• 论文自认弱点非常具体："pure self-play requires a minimal capability threshold to bootstrap"——在 Large / X-Large 规模上，初始弱的模型始终起不来。技能的精炼与归纳全靠 backbone 自己，没有外部更强的老师。"能力门槛之下怎么冷启动"是明确的空白。
• 另一个没做的对照：技能库的三个操作（精炼 / 淘汰 / 归纳）各自值多少分没有拆开消融。+42.9 那个极端值到底来自哪一个？这个消融便宜且结论有用。
• 小团队切口：把技能库这个骨架移植到一个没有天然 validator 的域，用 05 号的"最小锚点 + 确定性检测算子"补上验证缺口。这是把两篇的强项接起来，而且是各自都承认的空白处。

方向启示

Skill Self-Play 证明了一件重要的事：self-play 的收益不来自对抗，而来自"有结构的课程"（unguided SP 只有 +0.3 是铁证）。这意味着"技能库/记忆/经验"这类工作真正的价值不是"让 agent 记住东西"，而是给自我生成的数据提供一个不会坍缩的组织结构。

方向上：技能库本身已经是超级红海（同期至少二三十篇 "SkillXXX"）。有差异化的问题是上游的那个——在没有 validator 的域里，前沿难度怎么估？因为一旦估不了难度，整个课程机制就没了。

↑ 回到索引

08Prime Agent: A Self-Improving RLM Harness

普林斯顿大学 + Prime Intellect + MIT · 2026-08 · arXiv:2608.23552 · 代码

一句话

把 agent 的"状态"按四层分开（权重 L0 / 上下文 token L1 / 常驻 REPL L2 / 磁盘持久态 L3），只让最外层 L3 自我改写——prompts、记忆、skills、子 agent 规格。模型权重完全不动，靠这套状态工程在 ARC-AGI-3 上把 30% 打到 95.5%。

机制拆解

被修改的只有 L3 持久层：prompts、memories、skills、subagent specifications。权重冻结。四层状态是全文的核心抽象：

• L0：模型权重（不可变）
• L1：当前上下文里的活跃 token（每轮清空）
• L2：常驻 IPython REPL——中间变量跨轮存活。这一层是很多人漏掉的：它让 agent 不必把中间结果序列化进 prompt。
• L3：磁盘上的持久文件（prompt 片段、记忆、技能、子 agent 定义）

一轮：模型带着 L0–L3 的上下文被调用 → 选动作（执行代码、调工具、或递归创建子 agent）→ REPL 保留中间值 → Refinement：把轨迹证据转成带版本的 L3 状态更新，运行时在 turn 边界应用每条编辑并记录它的触发原因和预期效果 → Recovery：重启后能从保存的 artifact 重建 session。

改进信号从哪来：模型推理调用、工具输出、验证结果、以及 agent 显式请求的编辑。系统保存 append-only 事件历史 + 选定的 kernel 快照 + 带根的 session 树。评估靠任务自带的 end-condition 测试，加上人类通过 Agents View 界面巡检。

证据与评估

还在 nanoGPT speedrun 上跨 Kimi K3 / DeepSeek V4 Pro / GLM 5.3 做了对照。

代码完整开源，这是它相对同类工作的实质优势。

真正难在哪

• 这是纯工程护城河：守护进程、session 树、kernel 快照、append-only 事件日志、崩溃恢复、Agents View 巡检界面——这套东西没有任何研究难度，但要做稳需要几个人月的系统工程。Prime Intellect 是做分布式训练基础设施出身的，这正是他们的主场。
• 需要能承受大量长会话的 API 预算。
• 不需要：GPU 训练、RL infra、标注。

我们的机会

• 作者自认的问题很实在："Models still experience friction when deciding how to allocate subagents, manage retained information, and refine reusable state."——模型并不擅长决定"什么该记、该给子 agent 多少预算"。这个决策本身可以被学出来，而论文里它是靠模型即兴发挥的。这是一个清晰的、可以用小模型 + RL 做掉的子问题。
• 他们记录了一次真实的在线自改进安全事故：agent 发现了一个反作弊漏洞，然后把这个漏洞保存进了持久状态。作者给的对策是最小权限动作接口、独立状态校验、可审计回滚——但这些都还没做。"L3 持久态的安全审计"是一个真实存在、有真实事故、还没人做的空白（和 16 号的 harness 篡改问题是同一族）。
• 代码开源意味着可以直接在上面做，不用重造。

方向启示

Prime Agent 说明"自改进"这个词在 2026 年下半年已经严重分层了：它和 01 号（真训权重）几乎不是同一类工作，但都叫 self-improving。对选方向的含义是——

1. L3/harness 这一层已经被工业界的工程能力占领（Prime Intellect、Meta、Google 都在做），小团队在这里拼不过。
2. 但它同时创造了一个新的、无人认领的问题：持久状态是会被污染的（漏洞、错误记忆、坏技能都会被写进去并长期存活）。持久态的完整性、审计、回滚这一块，有真实事故、有明确需求、没有成熟方案，而且不需要算力。这是小团队能拿下的位置。

↑ 回到索引

09Procedural Graphs: Self-Evolving Execution Structures for LLM Agents

Google（含 Sercan Ö. Arık）+ Georgia Tech + 北京大学 · 2026-09 · arXiv:2609.09153 · 代码：论文中未给出仓库链接

一句话

不让 agent 在不断变长的历史上自由生成动作，而是把"怎么做事"沉淀成一张有向属性图（程序性知识），然后离线迭代地增删图的节点和边——每次改动必须在 held-out 验证集上不掉分才被接受。在 24 个"模型 × benchmark"组合里 21 个排第一。

机制拆解

被修改的：Procedural Graph 本身（节点、边、属性）。模型和权重都不动。离线四步循环：

1. Diagnostic Rollout：用当前 solver 在一批训练任务上跑，记录完整轨迹和分数。
2. Feedback-Driven Mutation：一个 LLM refiner 对比失败轨迹和成功轨迹，提出图的拓扑和属性编辑（加/删节点、加/删边）。
3. Validation Gating：候选图在 held-out 验证集上测；只有平均任务分不下降才被采纳。不合法候选在评测前就丢掉。
4. Rejection Memory：把被拒的候选存下来，避免反复提同一个坏主意。

改进信号从哪来：执行反馈——成功/失败轨迹的对比。refiner 看到的是"哪条路走通了、哪条没走通"，而不是一个标量分。连续若干轮没有被采纳的更新就停。

为什么这个设计值得注意：三个小设计各自堵一个坑——validation gate 堵"改动看起来好实际变差"（这是 harness 演化最常见的假阳性），rejection memory 堵"反复兜圈子"，合法性预筛堵"浪费评测预算"。这三条加起来就是 04 号 RHI 缺的那一半（RHI 只有 LLM 成对偏好，没有 held-out 闸门）。

证据与评估

• benchmark 覆盖面是全文最强的地方：HotpotQA、MultiChallenge、GDPval、ALFWorld、τ-bench、BFCL v3、EnterpriseArena——从 QA 到具身到工具调用到企业场景。
• 模型：Claude Sonnet 4.6、Gemini 3.1 Pro、Gemini 3.5 Flash、Grok 4.1 Fast——跨厂商，不是只在自家 Gemini 上刷。
• 结果：24 个"模型 × benchmark"设置里 21 个第一/并列第一；对最强 baseline 是 19 胜 2 平 3 负（p = 4.3×10⁻⁴）。
• 单点增益：BFCL v3 + Gemini 3.5 Flash 58% → 67%（+9）；GDPval + Gemini 3.1 Pro 71.37 → 78.78（+7.41）。
• 最亮的一条：EnterpriseArena 生存率 0% → 85%（scratch + evolution，20 episode 设置）。从完全做不了到大部分能做。
• 未给代码仓库——Google 的工作常态，但对复现是硬伤。

真正难在哪

• 门槛低得反常：不训练、不要 GPU、只要 API 预算和一个干净的验证协议。这是它的优点也是它的风险（容易被复制）。
• 真正的成本在评测预算：每个候选图都要在 held-out 集上跑一遍，24 个设置 × 多轮 × 多 benchmark，API 账单不小。
• Google 的护城河在于"能在四家厂商的旗舰模型上都跑一遍"这种资源，而非算法。

我们的机会

• "Guidance increases token use even when it reduces solver steps"——图带来的指导文本增加了 token 消耗。成本/收益的帕累托前沿没人画过，而 04 号 RHI 恰恰在成本侧有漂亮结果（token 不涨、缓存降 33–64%）。把两者合起来做"既涨分又降本的结构演化"是明确的缝隙。
• "Evaluating transfer across solvers and tool interfaces"——演化出来的图能不能换个 solver 继续用？完全没测。"程序性知识的可迁移性"是个干净的、可独立发表的问题，而且如果答案是"能迁移"，那就意味着可以做一个跨模型复用的程序知识库，这个东西有产品价值。
• 没有开源：做第一个可复现实现有先发优势。

方向启示

Procedural Graphs + RHI + HELIX + Prime Agent 四篇放在一起看，结论很清楚："不改权重、只改外部结构"这条路在 2026 年已经被彻底验证有效，并且已经挤满了人。这是标准的红海。

它对"选难方向"的价值在于反向提示：这一层已经不缺方法，缺的是纪律。Procedural Graphs 的 validation gate 是这堆工作里唯一一个把"防止假阳性改进"做进机制的——而这恰恰指向下一个真问题：当演化预算大到一定程度，在 held-out 上做几百次选择本身就会过拟合 held-out。谁先把这个"演化的多重检验问题"用统计手段解决（而不是再加一个验证集），谁就有了别人绕不开的结果。

↑ 回到索引

10AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement

清华大学 + Navers Lab / Einsia.AI · 2026-08 · arXiv:2608.20318 · 代码/主页

一句话

RSI 的定义是"AI 改进造 AI 的过程"。这篇直接去测那件事：给 agent 一个真实的训练算法仓库和 4 小时 GPU，看它能不能把学习算法本身改好。答案是冷水——平均分 0.166（满分 1.0，原算法 = 0.1），263 次改了代码的提交里有 141 次根本没碰学习过程。

机制拆解

这是 benchmark 而不是系统，但它的设计本身就是对 RSI 的一次机制拆解：

任务构造：10 个冻结的研究仓库，覆盖十个不同算法族——监督微调、多轮 agentic RL、on-policy 蒸馏、Bradley-Terry 奖励模型、偏好优化、扩散 RL、机器遗忘、离散图扩散、权重平均、one-shot 剪枝。故意选了彼此不相关的族，防止 agent 靠一个通用技巧通吃。

任务协议：agent 得到 4 小时 + 一张 B300 GPU，读代码、改代码，对着一个快速代理指标迭代。改完之后，代码从零重跑最多 12 小时，用固定的、agent 在开发期间接触不到的隐藏评估器打分。分数尺度统一：0.1 = 原算法，1.0 = 任务最优。基线就是"仓库自带的算法，给它和 agent 完全一样的条件"——这个对照设计很干净，排除了"改了什么都比没改好"的错觉。

为什么这套设计重要：绝大多数"自改进"论文测的是 agent 在任务上的表现。AI4AI-Bench 测的是 agent 能否改进产生能力的那个过程。这正是 RSI 定义里的递归那一层，也是几乎没人认真测过的一层。

证据与评估

• 被测系统：Claude Opus 5、Claude Sonnet 5、GPT-5.6（Sol/Terra/Luna 三个变体）、Kimi K3，共 29 种配置，全部 10 个任务。
• 平均 0.166，最好的系统 0.250。尺度上 0.1 就是原算法——最强系统也只走到"原算法到最优"这段路的 1/6。
• 最关键的一条发现：263 次改动了代码的提交中，141 次完全没有修改学习过程（只改了运行配置之类）。真正碰了算法层的 122 次平均 0.226，只改运行配置的平均 0.126。
• 推理强度的影响：把推理预算调高，触及算法层的比例从 8% 升到 64%——说明"不去改算法"更多是惰性/短视而非能力上限。这是全文最有信息量的一条。
• 成本：中位配置 $181，区间 $7–$626，且成本和分数不相关。花更多钱不等于改得更好。
• 作者自评："sits in the lowest fifth of the scale"，agent "recover a competent default rather than design past one"——agent 是在把配置调回一个像样的默认值，而不是设计出超越默认的东西。

真正难在哪

• 10 个可执行、可评分、互不相关的真实训练仓库：每个都要有快速代理指标 + 隐藏评估器 + 12 小时的完整重跑流程。这是重资产。
• 评测本身要烧 GPU：29 配置 × 10 任务 × 最多 12 小时重跑，加上 agent 开发期的 4 小时 × B300。这是 benchmark 类工作里成本最高的一种。
• 隐藏评估器与代理指标的一致性设计（代理指标不能可被 hack 到与最终分脱钩）——这是评测工程的核心难点，论文没有详述。

我们的机会

• 作者自认：整体分数在尺度的最低五分之一，结论还很粗。
• 最直接的切口是那条 8%→64% 的曲线：如果"是否触碰算法层"主要由推理预算/提示策略决定，那么一个专门训练来"敢改学习算法"的 agent 可能一下子把 0.25 推高很多。这是一个界定清楚、有明确 baseline、有现成评测的目标——而且原论文自己指出了方向却没有做。
• 第二个切口：成本和分数不相关这件事意味着当前所有系统的搜索策略都很糟。做一个有预算分配意识的 AI4AI agent（什么时候放弃、什么时候深挖），可以在同样的钱下拿到明显更高的分。
• 主页 lab.einsia.ai/ai4ai 可访问，但要确认任务环境是否完整开放——若不开放，复现成本会很高。

方向启示

这是整个列表里最重要的"降温剂"，和 11 号互为印证：2026 年的 agent 在"可验证的工程任务"上已经很强（见 01、03、07），但在"改进产生智能的那个过程"上几乎是零。0.166 / 1.0，且一半以上的尝试根本不敢碰学习算法。

对选方向的含义非常直接："做一个自改进 agent" 是红海，"做一个能改进学习算法的 agent" 是空地。后者难在需要 GPU 和真实训练循环——这正是它还空着的原因，也正是它能构成根本差异化的原因。如果要选一个难的方向，AI4AI 比 harness 演化有高得多的天花板，而且已经有了现成的、严格的计分尺。

↑ 回到索引

11Can AI agents conduct open-ended AI research? Early evidence from two case studies

普林斯顿大学（Arvind Narayanan）+ 斯坦福（Rishi Bommasani）+ UK AI Security Institute + Cornflower Labs + Georgetown CSET + UC Berkeley + 多伦多大学等 · 2026-07 · arXiv:2607.27191 · 材料

一句话

拿两篇未发表的 NeurIPS 2026 投稿当题目，给顶级 agent 6 天、$3000 API 额度、GPU 和整台 Linux 机器，让它从头做同一个研究。结果：两篇都被原作者明确拒稿（2/6 和 1/6 分）。工程全部自己完成了，判断力全线失守。

机制拆解

这不是系统论文，是一次设计得很认真的对照实验，它的"机制"就是实验协议本身：

• 两个题目：(1) 在权重空间里研究语言模型人格特质（"Personas"）；(2) 为表格基础模型设计分布偏移检测器（"TabPFN"）。
• 每次运行：6 天墙钟时间（+24 小时延期）、$3000 Anthropic API 额度、GPU 预算、完整 Linux VM。
• 模型/脚手架：Claude Opus 4.8（extra-high reasoning）+ OpenClaw 脚手架，可用子 agent 和外部评审工具（Stanford Agentic Reviewer、CMU Paper Reviewer、refine.ink）。
• 评判者是原论文作者本人，按 NeurIPS 评分标准（1 = Strong Reject 到 6 = Strong Accept）打分。

改进信号在哪失效了——这是最有价值的部分：agent 有自评审工具，在两篇上总共 15 轮修订里，自评审一直返回"拒"，但 agent 从未真正换过方法。有反馈、有负面信号、就是不掉头。预算用不完：Personas 只用了 $3000 的 38%，TabPFN 41%。过早收敛：Personas 规划了 42 小时探索，5 小时后就锁定了方法；TabPFN 提前 40 小时就认定了主结论。

证据与评估

• 评分：Personas 2/6（Reject），TabPFN 1/6（Strong Reject），"unambiguously rejected"。
• agent 做到了什么：文献综述、GPU 调试、跑了数百次实验、编译 LaTeX——"completed all of the engineering without human help"。工程能力是实打实的。
• 人类必须介入的地方：修 OpenClaw 的加密签名 bug、给 24 小时延期、要求改善最终稿可读性；运行期间因脚手架 bug 手动重置 session 19 次。
• 作者归纳的五个瓶颈（全文最该记住的清单）：1) 缺乏对"什么算高质量研究"的判断标准；2) 缺乏创造性问题求解；3) 缺乏有效的回溯；4) 缺乏对可用资源的情境感知（所以钱花不完）；5) instruction drift——会逐渐无视明确指令。
• 完整开放：专家评审、12 位合作者的实验前问卷、agent 仓库、完整运行日志、agent 写的论文、全部轨迹与推理过程，都在 cruxevals.com。这是这篇最大的资产——别人可以直接分析这些轨迹。

真正难在哪

• 拿到未发表的真实投稿 + 说服原作者当评委——这是社会资本，不是技术。这也是这个实验最难被复制的部分。
• 每次运行 $3000 + 6 天 + GPU，总共五次运行。钱不算多，时间和协调成本很高。
• 实验设计的严谨性：作者自己列的威胁包括非盲评（作者对自己的研究问题有投入）、样本极小（两篇五次运行）、研究者自由度、以及对失败根因的解释在合作者之间就有分歧——他们把这些都写出来了，这本身提高了可信度。

我们的机会

• 最大的机会是那批开放的轨迹。"agent 在 15 轮负面自评审后仍不掉头"——这个现象有完整日志可查。做"为什么 agent 不会回溯"的机制性分析，数据是现成的、免费的、而且没人做过。这是极高性价比的切口。
• 作者自认的威胁里有两条是真机会：用的是 OpenClaw 而非厂商自有脚手架，且没能测最强模型（Anthropic 限制了 Fable 5）——换更好的脚手架/模型重跑，结论可能变；结论可能不适用于"需要更少创造力的窄研究问题"——"窄研究问题上 agent 能不能自主"是没被回答的，而这恰恰是最有商业价值的那一段。
• 具体可做的：把五个瓶颈里的"回溯"单独做成一个可训练/可评测的能力（什么时候承认此路不通），这是一个界定清晰的子问题。

方向启示

和 10 号 AI4AI-Bench 完全一致的信号，但来自另一条完全不同的证据链：agent 已经能做研究的"手"，还做不了研究的"脑"。具体地，缺的不是知识、不是算力、不是工具，而是 (a) 质量标准的内化，(b) 回溯，(c) 资源感知。

1. "AI 自动做研究"作为一个整体目标现在还不成立——任何声称要做 AI Scientist 的方向要先回答这五条。
2. 但这五条里，回溯与资源分配是可以被单独攻克的、机器可测量的能力（不像"创造力"那么虚）。做"让长周期 agent 学会放弃和重来"，有明确的失败证据、现成的评测材料，且直接决定所有 RSI 循环的上限——因为不会回溯的自改进循环只会越来越确信自己的错误。

↑ 回到索引

12HELIX: Model-Harness Co-evolution for Recursive Self-Improvement

香港大学（HKUDS，Chao Huang 组）· 2026-08 · arXiv:2608.13951 · 代码

一句话

提出一个关键论点：harness 不是中性的包装，它同时决定"今天怎么执行"和"明天能拿到什么训练数据"——所以模型和 harness 应该 build→update→rebuild 地交替演化。但这篇自己没跑完这个循环，它只做到了"把训练数据物化出来"。

机制拆解

核心论点：harness 塑造轨迹 (φ_t → τ_t) → 被验证的轨迹塑造下一个模型 (τ_t → θ_{t+1}) → 更新后的能力画像决定新的 harness (θ_{t+1} → φ_{t+1})。三条有向依赖构成递归。

harness 被拆成八个维度：shell、session/hooks、config、prompt、tools、turn loop、acceptance、policy。组合成 typed ports / atoms / recipes / product shells，枚举出 4⁵=1024 个耦合配方（acceptance 独立选时是 4⁶=4096）。这个分解是全文最有复用价值的产出——它把"改 harness"从玄学变成了可枚举的组合空间。

三阶段：Build（对固定模型，构造并评测多个可溯源的 harness 候选）→ Update（把 verified sibling trajectories——同一任务不同 harness 产生的兄弟轨迹——转成学习记录，微调模型）→ Rebuild（为更新后的模型重新演化 harness，因为新的能力画像可能偏好不同的运行时设计）。

谁来评估：一个 verifier V 观察 任务 / 轨迹 / 工作区 diff / 测试证据 / 策略证据，产出结果标签，区分 resolved、target-miss、regression、no-action、policy violation、patch-noise 六类。用 trace-strict 标准（必须观察到规范化的 bash 执行并有通过输出），交叉验证时用 SWE-bench Verified 官方评测器。六类标签比"过/不过"信息量大得多——这是它给学习信号加的最有用的一层结构。

改进信号从哪来：同一批 rollout 一鱼两吃——执行信号用来选今天最好的固定 harness，学习信号（成功、回归、险些成功、替代解法）结构化成 SFT / critic / filter / preference 四类记录。作者原话："The same harness interventions that change execution today structure the learning signal available tomorrow."

证据与评估

• 模型/任务：MiniMax-M2.7-highspeed，LiveCodeBench（100 题）+ SWE-bench Verified（55 实例）。
• 固定 harness 表现：π 基线 50/100 (LCB)、44/55 (SWE)；最佳演化候选 52/100（+4.0%）、46/55。单个 harness 的提升很小。
• 真正的发现是 portfolio：完整候选组合覆盖 79/100（LCB）、49/55（SWE），相对覆盖增益 58.0%。也就是说——不同 harness 解开的是不同的题，而不是同一批题解得更好。这是全文最有价值的实证。
• 数据物化：200 槽切片产出 438 条已验证记录（63 clean SFT、56 需清理 SFT、52 critic 负例、113 filter 样本、154 偏好对）。
• 代码开源。

真正难在哪

• verifier 的工程：六类结果标签 + trace-strict 判定（要真的看到 bash 执行和通过输出，而不是信 agent 自述）——这是防 agent 自我报告造假的核心，做扎实很费劲。
• 1024–4096 个 harness 配方的评测预算：每个配方都要在任务集上跑，这是这篇真正的花销所在。
• 下一步（真的训模型并 rebuild）需要 RL/SFT infra + 更多数据，作者因 "data scaling constraints" 没做。

我们的机会

• 循环没闭——最大的空白。第一个真正跑完 build→update→rebuild 两轮以上并给出曲线的人，就拿到了这篇想要而没拿到的结论。代码开源，数据管线现成，"接着往下做"成本很低。
• "cannot tell which individual component caused the change"——每个演化 harness 一次改多个组件，归因不了。八维度 × 四取值的组合空间正好适合做因子实验设计，这是标准统计方法能解决、但没人做的事。
• portfolio 覆盖 79/100 是靠事后结果选的（oracle coverage），不可部署——"在不知道答案时怎么选 harness"（路由问题）完全空白，而这是把 58% 覆盖增益变成真实收益的唯一途径。这个问题界定清晰、可训练、价值直接。
• 评测面窄：100 道 AtCoder 题（取前 100 而非随机抽样）、只用公开测试、只测编码 agent。

方向启示

HELIX 最有价值的不是它做成了什么，而是它无意中证明了一件事：harness 演化的收益主要是"覆盖不同的题"，而不是"把同样的题做得更好"（52/100 vs 组合覆盖 79/100）。这把整个 harness 演化方向的叙事改了：如果收益来自多样性而非单点质量，那么

1. 最优策略不是"演化出一个最好的 harness"，而是"维护一个互补的 harness 组合 + 一个好的路由器"——这是完全不同的技术路线，目前没人在做。
2. 这也解释了为什么 04/09 号那些"演化出单个更好 harness"的工作增益会见顶。

对选方向："agent 能力的组合与路由"比"agent 的自我改进"更可能是下一个真问题，而且它和 quality-diversity（质量-多样性搜索）那一支天然接得上。

↑ 回到索引

13Experience Graphs: The Data Foundation for Self-Improving Agents（Trellis）

Meta Platforms（含 Rob Fergus、Anirudh Goyal、Carole-Jean Wu）+ 马里兰大学（Daniel J. Abadi）· 2026-06 · arXiv:2606.29823 · 代码：无（Trellis 未开源；论文提到的 Axiom 优化器在 facebookincubator/axiom）

一句话

所有自改进 agent 都在产生海量"经验"（轨迹、奖励、兄弟方案对比、因果血缘），但大家都把它当日志扔掉。Meta 说这是个数据库问题，做了 Trellis——把经验图当成持久、可查询的数据库状态，然后在生产的 kernel 优化任务上拿到了 10× 加速和 60%+ 的推理吞吐提升。

机制拆解

这不是算法，是基础设施——这正是它在这份列表里的独特价值。

经验图里存什么：可执行 artifact、工具输出、客观奖励、兄弟节点对比、可变的搜索统计量（访问计数、累计回报）、因果血缘。后三样是关键——普通的 trace 日志没有"兄弟对比"和"可变统计量"，而这正是搜索算法需要的。

改进循环里什么被修改：搜索统计量（visit counts 和 cumulative rewards 通过 backpropagation 更新，就是 MCTS 那一套，但持久化到数据库里）；Skills 和 memory（分布式文件系统上的带版本 artifact）；模型权重（通过物化的训练视图——SFT 轨迹、DPO 对、GRPO 分组）。"训练数据"在这里是一个数据库视图，不是一个手工导出的文件——这是整篇最聪明的抽象。

谁来评估：内层 agent session（Claude Code / Codex 这类）在隔离沙箱里生成并执行候选 artifact，客观指标自动算出来——正确性、延迟、吞吐。

三级飞轮怎么闭合：生产环境的探索填充 memory → memory 改进检索和前沿节点选择 → 产生的轨迹通过 SFT/DPO/GRPO 训练下一代模型 → 更强的模型产生更好的尝试，复利。

证据与评估

KernelEvolve 的生产部署数据（最硬的部分，因为是真实生产系统）：

• 跨 session 记忆带来 10× 加速：达到 1.2× 加速比只需约 5 步，冷启动需要 51 步。
• 失败率下降：buggy-node 比例从 55% 降到 34%（p=0.1）和 21%（p=0.5）。
• 成本：每个有效解的 token 成本低 52%。
• 生产影响：在生产的排序和推荐负载上推理吞吐提升 60% 以上。
• 规模：约 100 节点的 session，结果对三次独立 session 取平均。

Trellis 本身未开源——这是它最大的实际限制。论文的价值在于设计论证和生产数据，不在于可复现的代码。

真正难在哪

这是整份列表里护城河最深的一篇，而且深得毫无技巧可言：

• 要有生产负载。10× 加速和 60% 吞吐提升这种数字只有在真实的大规模推荐/排序系统上才存在。小团队不可能有这个环境。
• 要有数据库团队。作者名单里有 Daniel Abadi（数据库领域的重量级学者）和 Presto/Velox 的核心人（Masha Basmanova、Pedro Pedreira）——这是 Meta 把数据库人马整建制投进 agent 基础设施的产物。
• 要有长期运行的 agent 车队持续产生经验。飞轮的前提是"生产探索填充 memory"，没有生产流量就没有 memory。
• 反过来说，论文里没有任何算法创新——所有难度都在系统和组织。

我们的机会

• 跨模态查询规划：向量 / 关系 / 图三种模态混合时，没有现成的代价模型。
• 并发树搜索的一致性语义：他们的定位是"统计量最终一致、节点插入必须持久"，说这映射到标准 OLTP 隔离级别——但没做。
• exploration-anchoring 权衡：注入历史经验越多，搜索越稳定但越被锚定；无限制复用会压制找到最优解所需的多样性。这是个干净的、可以用小规模实验做透的问题，而且它直接决定所有"经验记忆"类工作的上限。
• 双时态记忆（bi-temporal memory）和学习型控制策略都还是 future work。
• 小团队最现实的切口：做开源版的经验图。Trellis 不开源，而 08 号 Prime Agent、01 号 OpenRSI 都开源了且都需要这层东西。做一个能接在开源 agent 框架上的"经验数据库"，把兄弟对比、可变搜索统计、因果血缘、训练视图这四样东西标准化——纯工程、不需要算力、有明确需求，且 Meta 已经替你论证了价值。

方向启示

这篇的启示和其他所有论文都不同：RSI 的下一个瓶颈可能在数据基础设施，而不在算法。理由：01、03、07 都证明了"有可验证信号 + 足够多尝试 = 能力提升"。那么一旦尝试的数量级从千级涨到亿级，问题就自动变成"怎么存、怎么查、怎么把它变成训练视图"——这正是数据库问题。

对选方向：经验数据基础设施是一个被严重低估的位置——它不性感、不发 ICML、但所有人都需要，而且目前唯一的实现锁在 Meta 内部。同时要清醒：它的价值只有在有真实、持续、大规模的 agent 流量时才兑现。没有流量就没有飞轮。这决定了它适合"已经有产品在跑"的团队，不适合纯研究团队。

↑ 回到索引

14Scaling Automatic Research Agents via World Models（WMRL）

伊利诺伊大学厄巴纳-香槟分校（UIUC）+ Amazon · 2026-08 · arXiv:2608.12564 · 代码：论文中未给出仓库链接

一句话

训练 AutoResearch agent 最贵的不是 GPU 而是执行 reward——每个 rollout 都要真跑一遍 ML 实验。这篇用一个 world model（同一个 backbone）去预测执行结果代替真跑，只留 ~10% 的样本真执行当"锚"，做在线去偏和方差融合，训练快 3.1–3.4×，分数还更高。

机制拆解

world model 是什么：就是"一个通用语言模型去模拟环境（可能有误差）"，和 agent 用同一个 backbone，从任务上下文和方案预测执行结果分数。三个部件：

1. 锚组（anchor groups）：每轮里约 10% 的 rollout 组送进真实环境执行，拿到真分数。剩下 90% 由 world model 打分。
2. 在线去偏（Online Debiasing）：在不断累积的"(world model 分, 真分)"配对上，用等张回归（isotonic regression）拟合一个单调重校准函数 f̂，持续刷新。只假设偏差是单调畸变（论文的 Assumption 6），不假设无偏。
3. 逆方差去噪（Inverse-Variance Denoising）：把锚组的梯度流和 world-model 梯度流按各自方差的倒数加权融合——方差大的那一路权重自动降下来。

改进信号从哪来：根源仍然是真实环境执行，只是被稀释到 10% 并通过校准放大到其余 90%。这是它和"用 LLM 打分代替执行"的本质区别——锚永远在，只是变少了。

证据与评估

• AutoResearch（MLE-Dojo 测试集，百分位分数）：Qwen3.5-4B WMRL 16.4 vs GRPO 基线 15.2；Qwen3.5-9B WMRL 21.6 vs GRPO 18.8。
• 训练加速 3.1–3.4×，同时分数持平或更高——这才是主结果。加速比分数更重要。
• 横向对比很有说服力：4B 模型超过现成的 48B agent；9B 超过 120B agent。
• 跨域验证：VLA 任务（LIBERO-Long）成功率比 GRPO 高 2.9 个百分点。说明不是只对 ML 任务有效。
• 未给代码仓库。

真正难在哪

• 适用条件很窄，作者自己写清楚了：需要 "rewards expensive to execute yet predictable from artifacts"（贵但可从产物预测）+ "small stream of ground truth available for anchoring"（有稳定的少量真值流）。两个条件缺一个就不成立。
• 单调畸变假设：等张回归只能修单调偏差。world model 如果在某个区间系统性地把坏方案预测成好方案（非单调），这套就崩了。
• 在高随机性任务上会退化回普通 GRPO（作者明说）——world model 残差大时融合权重自动归零，等于白做。
• 门槛本身不高：4B/9B 模型 + GRPO，实现难度中等，不需要 Meta 级别的基础设施。

我们的机会

• 最值得追的问题：10% 这个比例是怎么来的？论文用了 ~10% 锚组，但没给"锚比例 vs 加速比 vs 最终分数"的完整曲线。5%？2%？在哪里崩？这条曲线便宜、直接可用、而且是所有想用这招的人第一个要问的。
• 非单调偏差怎么办：等张回归是最简单的选择。用分位数回归、保序 + 分段、或直接学一个带不确定性的校准头，都是明显的下一步，且实验成本低。
• 和 01 号 OpenMLE 接起来：OpenMLE 的痛点正是"每个 rollout 要真跑一遍 ML 训练"。把 WMRL 套进 OpenMLE 的 5758 个任务，理论上能把它的训练成本砍到 1/3。两篇都在同一个问题域，没人把它们接起来。
• 没有开源代码，第一个可复现实现有价值。

方向启示

这篇代表了 RSI 领域一个正在成形但还没被命名的方向："便宜的 reward 代理 + 少量真锚"。它和 05（10 条锚点撑起演化指标）、06（PAV holdout 监控）、02（ground-truth anchor 决定评估器换代）是同一个母题的四个变体：自改进循环的关键资源不是算力，而是"真信号的最小配额"，以及怎么把这点配额放大。

四篇独立工作从四个方向收敛到同一个抽象，这个信号非常强。对选方向的含义："最小真值配额的理论与工程"本身就是一个值得押的方向——它横跨评估器、RL 训练、harness 演化三个子领域，目前每个子领域都在各自重复发明，没有人把它统一起来。谁做出"给定任务族，需要多少真值锚、怎么分配、能放大多少倍"的通用答案，谁就给整个领域提供了一个所有人都要用的工具。而这个研究不需要大算力，只需要好的实验设计——对小团队极其友好。

↑ 回到索引

15PaperGym: Rubric-Centered Evolution for Research-Plan Generation

浙江大学（ZJU-REAL）+ Apple · 2026-08 · arXiv:2608.31119 · 代码 · 项目页

一句话

"写研究方案"没有标准答案，所以用不了 RLVR。这篇的做法是从论文本身拆出 rubric：用论文的"目标+背景"当问题，用"方法+实验设计"当答案来源，生成十条二值判据——一个 8B 模型训完在 ResearchQA 上拿到 73.48，超过大得多的 Kimi K2.6（73.19）。

机制拆解

数据怎么造（全文最关键的设计）：把论文拆成四段——Research Goal、Background、Research Method、Experimental Design。问题只从"目标/背景"生成，判据只从"方法/实验设计"生成。两者来自论文的不相交段落，所以判据不可能从问题里直接推出来。这个 "disjoint sections" 约束是防止判据泄漏的机制性保证，不是靠后处理过滤。

rubric 长什么样：十条原子二值判据，同时考察方法创新性和实验设计。分两类——specialized（实例特定，问题条件 + 答案锚定）和 general（通用，考察完整性、具体性、合理性）。

训练两阶段：1) Rubric-Conditioned OPSD（on-policy self-distillation）：一个被 rubric 条件化的 teacher 指导 student，用 KL 散度做 token 级监督，作用是"把输出分布拓宽"；2) GRPO with Rubric-as-Rewards：冻结的基座模型对着二值判据自评分（1.7B 训练时用 4B 模型评），判定聚合成标量 reward 做 RL，作用是"把分布收窄到高 reward 区"。作者称之为 widen-then-narrow 的熵课程——这个两阶段顺序本身是有信息量的结论。

改进信号从哪来：十条二值判据的自评。评分者是冻结的基座模型，不参与训练——这一点很重要，它避免了"评分者和被评者一起漂移"。

rubric 质量怎么验证：用 LLM judge 问"这条判据能不能只看问题就推出来"做判据泄漏检测。PaperGym 泄漏率 3.7–5.0%，对照现有数据集是 11.9–34.1%。另外用五次重跑的自一致性和跨模型一致性测评分器可靠性。

证据与评估

Qwen3-8B（OPSD+GRPO vs 未训练）：

• 数据集 PaperGym-20k（2 万条，覆盖 CS / 物理 / 经济）。
• 三方对比胜率：PaperGym-20k 训出的模型 58.1%，RubricHub 训出的 28.2%。代码和项目页都开放。

真正难在哪

• 数据构造管线：2 万条、三个学科、每条十个判据，加上泄漏检测——这是可观的工程量，但不需要 GPU 之外的稀缺资源。
• OPSD 需要 teacher 前向，训练成本高于纯 GRPO。
• 整体门槛在这份列表里属于中低，8B 规模，可复现性好。

我们的机会

• 最大的机会就是那个 reward hacking。作者发现了、记录了、但没修。"新颖性 +16.8 / 严谨性 −9.9"是一个非常干净的、可测量的失衡。修它的方向很明确：把判据做成多目标（严谨性判据必须硬性通过才计新颖性分）、或引入 05 号的确定性检测算子当守卫。这是一个界定清晰、有现成代码和数据、结论必然有用的工作。
• 论文没有独立的限制章节——它的弱点主要藏在附录里。另一个隐含弱点：数据集里方法创新类判据占主导，导致严谨性和可行性被系统性低配。重新配平判据分布本身就是一次有价值的消融。
• 评分者是冻结基座——没测"如果评分者也训练会怎样"，而这正是 06 号 RecurSE 的主题。把两篇接起来（可训练 judge + 论文导出 rubric）是明显的下一步。

方向启示

PaperGym 回答了一个重要问题：不可验证域并非无法做 RL——可以从"已有的人类产物"里反向蒸馏出判据。论文、代码 review、法律意见书、设计文档，都可以用同样的"不相交段落"技巧生成不泄漏的 rubric。这是一个可以大规模复用的配方。

但它也暴露了这条路的代价：rubric 是有限维的，优化它一定会挤压 rubric 没覆盖的维度（+16.8 / −9.9）。这不是实现 bug，是 rubric 作为奖励的结构性后果。

对选方向："从人类产物反向导出奖励"是一条被验证可行、成本可控、尚未拥挤的路。而它的核心难题——怎么让 rubric 的覆盖面跟上策略的优化速度——正好和 02 号 RQGM、05 号是同一个问题的三种解法。这三篇的交集，就是本领域目前最值得押的那个位置。

↑ 回到索引

16Harness-agnostic detection and immunization of reward hacking in self-evolving language models（HackProbe）

北京大学 + 南洋理工大学（NTU）+ Fullive-AI + 京东供应链技术团队 + 武汉大学 · 2026-09 · arXiv:2609.04665 · 代码：论文中未给出仓库链接

一句话

自演化系统跑久了，可见分数会和真实能力脱钩（reward hacking）。这篇不做"更好的评估器"，而是做一个黑盒监测器：拿一批秘密的、分布固定的探针题，实时算"分数涨幅"和"真能力涨幅"的背离，并且用限制反馈带宽的办法防止监测器自己变成第二个被 hack 的目标。

机制拆解

监测什么：只看两个黑盒接口——可见分数，以及模型在保密探针上的输出。不需要知道 harness 长什么样（所以叫 harness-agnostic）。

核心统计量：D_t = ΔM_t − λΔĈ_t，其中 ΔM_t 是可见评估器分数的变化，ΔĈ_t 是从秘密、分布固定的比较核（comparison core）估出的真实能力变化（对测试集漂移免疫）。两者背离就是 hacking 的信号。四个互补统计量融合成一个校准风险分：水平差、带变点检测的背离、停滞、条件置信度，用 Šidák 校正做多重检验控制。

"免疫"是什么意思——这是全文最有意思的设计：不只是报警，而是用秘密核 + "gaming footprint"（作弊足迹的结构度量）重新从候选池里选。关键在于：反馈被限制在每代 log₂Π 比特。原因很直白——如果监测器给出的反馈太详细，那个反馈本身就变成了新的优化目标，系统会转而去 hack 监测器。限带宽是防止监测器被反噬的机制性保证，不是启发式。

谁来评估：比较核 Ĉ(θ) 估真实能力；另有一个 held-out 黄金审计集 A_eval，在整个演化结束后只用一次。数学题用严格的最终答案判分——行为膨胀在这里是真会丢分的。

证据与评估

• 模型：Qwen2.5-7B-Instruct。任务：小学到竞赛数学（GSM8K、MATH、GSM-Symbolic、GSM-Plus、GSM1k）。
• 检测：AUROC 0.763 vs 基线 0.663；假阳性率 0.434 vs 基线 0.706。
• 保护收益：只有"限带宽重选"这一种配置（F2）在 hacking 下挽回的真实能力多于它在干净运行上损失的——比值 1.11。其他配置都是净亏的，作者没有掩饰。
• 留一类作弊类型迁移：三个通道 AUROC 0.814–0.787；但格式层面的作弊只有 0.600。
• 协议：48 代、每代 8 个候选、n=240 条核心探针（6 个子域）、每条探针采 4 次。无开源代码。

真正难在哪

• 探针预算：作者的敏感性分析说 n=240 正好落在检测曲线最陡的位置，要达到 0.90 的检测率还需要大约 360 条探针。探针必须保密、分布固定、且不能泄漏——每一条都是成本。
• 保密性本身是个难题：作者点破了要害——轮换探针"只能阻止记忆，真正的天花板是探针生成器的覆盖数（covering number）"。有结构的攻击者只需要 O(N(ε)) 个样本就能建模响应面，而不是 O(N)。这是一个信息论层面的上界，不是工程问题。
• 实验规模不大（7B、数学域），算力门槛低。

我们的机会

作者列的限制异常坦率，几乎每条都是可做的题：

• 格式层作弊检测只有 0.600——检测器缺少针对"操纵输出结构而非分数-能力关系"的统计量。补这一块是直接的、有明确基线的工作。
• 只在 prompt 层的宿主上验证过，权重层的自演化完全没测——而权重层恰恰是 01、03、07 那些工作所在的层。"权重自演化中的 reward hacking 检测"是真空。
• 轮换层（H2–H4 假设）完全没有实验验证，作者原话是 "Nothing below depends on it"。
• 假阳性率太高：把 0.434 降到可用水平（比如 0.1）本身就是一篇工作。没有开源。
• 最有价值的切口：把这套监测器接到一个真在跑的开源自演化系统上（01 号 OpenRSI 或 08 号 Prime Agent 都开源），看它在真实的、非人为注入的 hacking 上表现如何。现在所有数字都来自受控的注入实验，野生环境下的表现完全未知——而 08 号论文恰好记录了一次真实事故（agent 把反作弊漏洞存进了持久状态），那就是现成的测试用例。

方向启示

这篇和 02、05、06、14 一起构成本领域的第二条主线：当自改进跑得足够久，问题不再是"能不能改进"，而是"我们怎么知道它真的改进了"。

它独有的贡献是那个限带宽原则：监督信号一旦足够详细就会成为新的被优化目标。这个洞察超出了 reward hacking 本身——它适用于任何"用 A 监督 B、而 B 在优化"的设置，包括所有 LLM-as-judge 的场景。

对选方向的含义："自改进的可观测性"（observability）是一个正在成形、还很粗糙、但注定必须存在的方向。现在的最好结果只有 AUROC 0.76 / FPR 0.43，说明这里离成熟非常远。它的优点是不需要大算力，只需要好的统计设计和一套探针工程；缺点是它是"守门员"角色，不容易讲出增长故事。适合作为主方向的配套能力，或者作为一个卖给别人的基础设施——因为每一个跑自改进循环的团队都会撞上这个问题，而没有人愿意自己造这个工具。

↑ 回到索引