1. Harness Engineering 的现状与瓶颈
在大语言模型（LLM）的应用体系中，Harness 指的是包裹在模型外层的代码逻辑，即模型与外部世界交互的中间件。它核心决定了三件事：存什么（记忆管理）、取什么（检索策略）以及给模型看什么（提示词组织）。
目前的 Harness 工程高度依赖人工，工程师需通过分析失败案例、调整启发式规则进行迭代，过程效率低下且受限于个人经验。虽然现有的文本优化方法（如 OPRO、TextGrad 等）试图实现自动化，但它们存在一个致命问题：对反馈信息的压缩过于激进。这些方法通常采用无记忆模式、仅依赖标量评分或使用简短摘要，这导致了关键诊断信息的丢失。由于 Harness 的决策具有长程性（例如早期的存储决策可能在百步之后才影响结果），这种压缩策略无法提供追溯长程因果链所需的完整信息。
2. Meta-Harness：基于 Coding Agent 的自动化搜索循环
斯坦福、MIT 与 KRAFTON AI 提出的 Meta-Harness 将 Harness 优化转化为一个搜索问题。其核心思路是构建一个“Harness 的 Harness”，利用 Coding Agent 作为提议器（Proposer），在包含历史代码、执行轨迹和评分的文件系统中进行自主探索。
Meta-Harness 的核心组件包括： * 提议器（Proposer）：由 Coding Agent 扮演，它不接受预设的压缩信息，而是通过工具调用能力，像人类工程师一样在文件系统中按需获取任意历史信息，从而突破了 LLM 上下文窗口的限制。 * 评估器（Evaluator）：不仅提供标量评分，更重要的是记录完整的执行日志（包括输入、输出、中间状态及记忆更新过程），为长程决策提供追溯依据。 * 文件系统存储（Filesystem Store）：将每次迭代的源代码、评分、日志和元数据平铺存储。选择文件系统而非数据库，是因为 Coding Agent 对文件操作极其擅长，能够直接复用其现有的探索能力。
3. 实验验证：多场景下的性能跃迁
研究团队在三个差异巨大的领域验证了 Meta-Harness 的有效性：
- 在线文本分类：在 5 个 OOD 数据集上，Meta-Harness 的平均精度达到 75.9%，显著超越了 SOTA 方法 ACE (68.2%) 和 OPRO (68.9%)。此外，其搜索效率极高，仅用 4 次迭代就追平了 OPRO 经过 60 次迭代后的精度。
- 检索增强数学推理：在求解 IMO 级别难题的任务中，Meta-Harness 发现的检索策略具有极强的通用性，在 5 个从未见过的模型上实现了平均 4.7 个百分点的性能提升。
- Agentic Coding：在 TerminalBench-2 任务中，Meta-Harness 发现的方案超越了由资深工程师手动调试的最高水平方案 Terminus-KIRA，成为该模型下的排名第一方案。
4. 局限性与核心启示
尽管表现优异，Meta-Harness 仍存在三个局限性：搜索成本较高（需运行完整基准测试）、高度依赖提议器的能力（取决于 Agent 的编程与分析水平）以及依赖明确的评估函数。
该研究为 LLM 应用开发带来了深刻启示： * 不要小看 Harness 的作用：更换一套更优的 Harness 代码，效果可能优于更换更强的模型，且成本更低。 * 保留完整的诊断信息：在优化过程中，完整的执行日志和推理轨迹比简单的评分和摘要更有价值。 * 信任 Coding Agent：与其花费人工进行手动调试，不如利用 Coding Agent 的自主探索能力来处理复杂的代码迭代与错误分析。