Harness Engineering for Self-Improvement
Lilian Weng 2026-07-04 写的博客（lilianweng.github.io），31 分钟阅读量。
跟 rsi-survey 是同一个主题的不同视角 —— survey 是论文综述，Lilian 这篇是工业界视角。
核心观点
Lilian 把 harness 定义为：
Harness = 围绕 base model 的系统层，决定 model 如何思考/规划、调工具/行动、感知/管理 context、存储 artifacts、评估结果。
跟早期 agent 框架 agent = LLM + memory + tools + planning + action 不一样，harness 还多了：
- workflow design（loop engineering）
- evaluation
- permission controls
- persistent state management
关键论点：harness 跟 raw model intelligence 一样重要（甚至更重要）。引用 “Anthropic / OpenAI” 的 frontier lab 速度对比作为证据。
三个 Harness Design Patterns
- Workflow Automation — 让 model 在一个定义好的工作流里 plan → execute → observe → improve → repeat。Karpathy 的 autoresearch 是典型例子。
- File System as Persistent Memory — 用文件系统做长时记忆（比向量库简单、便宜、通用）
- Sub-agent and Backend Jobs — 拆解任务给子 agent + 后台任务
Case Study：Claude Code 和 Codex 都是典型 harness 产品。
Harness Optimization 三层
- Context Engineering — 管理进入 model 的信息流
- Workflow Design — loop engineering
- Self-Improving Harness — 让 harness 自己进化：
- Evolutionary Search
- Joint Optimization with Model Weights（harness 跟模型一起训）
与 RSI 的关系
Lilian 明确把 harness engineering 放在 RSI（Recursive Self-Improvement）的框架下：
“This feedback loop in modern AI may indicate the model rewriting its own weights directly, or more broadly the model improves the training pipeline and the deployment system, which in turn enables a better successor model.”
—— 跟 rsi-survey 论文的”广义 RSI”定义完全一致。
我自己的 takeaway
读完这篇我对 RSI 的理解从”模型自己改自己 weights” 拓宽到：
RSI 不仅是改 weights，更是改 harness / deployment system。harness 改了，下一代模型部署上来自动更强。
这跟 constitutional AI（宪法 AI）的”对齐训练方法”思路不同 —— Lilian 的视角是 harness 进化是 RSI 的工业现实路径。
术语映射（survey vs Lilian）
读完 rsi-survey 之后补的对照表 —— 这两个概念完全是一回事，但用词不同：
完整对照表（survey 术语 vs Lilian 用词 + 为什么用词不同）→ scaffold-vs-harness
| Survey 术语 | Lilian 的说法 | 含义 |
|---|---|---|
| Scaffold (Σ) | Harness | 围绕 base model 的整个操作层 |
| Prompt improvement (6.1) | Context Engineering + 部分 Self-Improving Harness | 优化 prompt / instructions |
| Memory improvement (6.2) | File System as Persistent Memory | RAG / episodic memory 等 |
| Tool improvement (6.3) | Sub-agent and Backend Jobs | tool routing / 创建 / 迭代 |
| Full Scaffolding (6.4) | Evolutionary Search | 端到端改 harness |
| Textual Gradient (6.1.4) | Self-Improving Harness 核心机制 | 用自然语言做”梯度下降” |
| Foundation Model Improvement (Ch.5) | （Lilian 不太讲，因为改 weights 是 lab 的事） | 改 θ |
| Scaffolding Improvement (Ch.6) | Harness Engineering | 改 Σ |
Lilian 的额外贡献：把 OS 类比做实（“harness 之于 agent 如 OS 之于 process”），这是 survey 没有的工程化视角。
待办
-
写跟 rsi-survey 的对比页→ 这张表就是 - 把三个 Pattern 各写一篇笔记（结合具体代码：autoresearch / file-system-as-memory / Claude Code 的 sub-agent 调度）
- 跟踪 Textual Gradient 这个具体技术 —— 跟 prompt 自动优化直接相关