AutoResearch 的核心机制与行业爆发

AutoResearch（自动研究）本质上是一个基于试错的迭代循环。用户向语言模型提供代码和可复现的评估脚本，系统会自动尝试各种想法并在评估中测试它们。它保留能提升分数的方案并丢弃其他无效结果，优化指标包括准确率、速度和成本。虽然这种循环在学术界已存在约两年，但今年因 Kapasi 在其模型训练脚本中的分享而迅速走红。其应用场景从单纯的模型训练扩展至后端工程、提示词与代理工程，甚至加速模型推理并进入生产环境。例如，它降低了 Shopify CI/CD 管道的延迟并优化了浏览器代理性能。

"Auto research is basically a loop of try and errors... it keeps the ideas that improve the score and discard everything else."

尽管 AutoResearch 功能强大，但掌握它比使用普通编码代理更难。普通代理需要每一步都进行引导，而 AutoResearch 则在后台自主运行循环。如果对准正确的评估指标（eval），它能极大地放大提示词和设置的效果；否则，用户将迅速消耗大量的 API 令牌（RM tokens）。本次工作坊旨在为参与者提供学习起点，以便将其应用到实际工作中。

Parameter Golf 挑战赛背景与规则

Parameter Golf（参数高尔夫）是一项模型工艺挑战，目标是在两个严格约束下训练出最佳语言模型：一是包含模型权重和训练代码在内的四个工件必须小于 16 MB，二是训练过程必须在 10 分钟内完成。提交结果通过 OpenWebText 验证集上的 bits per byte (bpb) 进行评分，数值越低越好。OpenAI 提供了基准数据集和评估脚本，参与者通过 GitHub 提交改进结果并开源所有代码。竞赛期间提供了百万美元的算力信用额，并对每份提交进行审查。

在为期 44 天的竞赛中，共有 6 位研究人员参与，提交了约 250k GPU 算力消耗。最终排行榜显示仅有 47 个 PR 被合并，来自 31 位贡献者。为了应对这一挑战，Weco AI 构建了 Aiden——一个基于云和 GPT 模型家族的自我改进多代理系统。Aiden 自动化了研究循环：从 arXiv 抓取论文、GitHub 获取实现代码及自身实验日志，提出新想法并测试。经过合法性审计后保留有效方案，编写实现并通过质量门控后提交 PR 供审查。

Aiden 在 Parameter Golf 中的卓越表现与 Mini PG 工作坊介绍

Aiden 的表现令人瞩目，它创造了 7 条合并排行榜记录，是第二名人类贡献者的两倍。更重要的是，Aiden 拥有整个竞赛中最高的 OPR H-index（PRs per merged record），意味着其工作不仅被接受，还被其他参与者广泛复用。据统计有 435 个下游 PR 引用或基于 Aiden 的工作，且仅消耗了社区总 GPU算力的 4%。在合并记录方面，Aiden 贡献了总数的 15%，比领域平均水平高出 3.7 倍的成本效益。

"Aiden landed seven mer leaderboard records... It got there on a fraction of the budget from just 4% of the community's GPU compute."

本次工作坊将运行 Parameter Golf 的简化版——Mini PG（迷你参数高尔夫）。由于真实挑战涉及大规模数据集训练，耗时过长不适合现场演示，Mini PG 保留了核心逻辑：训练真实语言模型、使用固定评估器评分，旨在通过驱动降低 valp 值（衡量模型预测未见文本的能力）来演示 AutoResearch 的实际运行效果。参与者将在后台运行自动研究的同时，学习其基本结构、实时调试技巧，并最终通过现场竞赛比拼谁的代理得分最高。

AutoResearch Agent 的实操环境与启动指南

本次演示的核心在于让参与者亲自运行 AutoResearch，这是一个基于搜索的自动化研究代理系统。为了降低门槛并实现快速迭代，团队将任务规模缩小为 Mini Parameter Golf 实验。该实验使用极小的数据集替代了庞大的网络数据，并将评估时间压缩至仅需几分钟，从而允许用户在有限时间内观察到多个完整的优化步骤。参与者需要注册两个平台：一是 Weco，用于运行 AutoResearch 代理；二是 Modal，提供实验所需的计算资源、训练及评估环境。官方提供了免费额度以支持这一过程。

启动流程相对直接：用户需克隆 Parameter Golf 的代码仓库，并将其交给自己的编码代理（Coding Agent）。通过指示代理根据 README 文件设置 Mini PG 环境并启动运行，系统会自动处理后续的设置工作并在后台开始循环优化。如果在操作过程中遇到任何问题或疑问，参与者可以通过扫描屏幕上的二维码进入支持频道，或者举手示意工作人员寻求帮助。团队计划在启动运行后约 15 到 20 分钟再次介入，深入解析实验细节。

Mini Parameter Golf 任务的核心组件分析

一个成熟的 AutoResearch 系统通常包含几个关键组成部分，理解这些结构对于有效利用代理至关重要。首先是 源文件（Source File），这是代理实际需要修改的代码位置，它定义了搜索空间。在 Mini PG 案例中，这个文件是 solution.py，其中包含了模型配置以及训练过程中的动态参数。其次是 评估模块（Evaluation），这被认为是 AutoResearch 系统中最关键的部分。代理需要一种简单的方式来评估其生成的每一个解决方案，并输出一个单一的标量指标。快速、廉价且低噪声的评估至关重要，因为它直接决定了在固定预算或时间约束下能执行多少步优化。低噪声评估还能增强代理和人类研究者在进行“爬山”式搜索时的信心。

然而，必须警惕 奖励黑客（Reward Hacking） 现象。代理倾向于寻找评估协议或基准测试中的漏洞以获取高分，而非真正提升模型性能。因此，设计鲁棒的评估协议是防止代理走捷径的关键。除了源文件和评估模块外，还需要明确 指标（Metric） 和 目标（Goal）。在 Mini PG 中，目标是最小化验证集上的困惑度（Validation Perplexity），即寻找在未见文本上预测能力更强的模型。此外，还需要设定运行的 步骤数（Number of Steps）。团队选择了 20 步，旨在给予代理足够的时间去探索不同的想法并观察其有效性。更多的尝试通常意味着更多突破的可能性，而这依赖于快速评估带来的高吞吐量。

系统约束、引导信息与生产级特性

为了确保实验的稳定性和可控性，必须对评估运行的时间进行限制。在 Mini PG 中，单次评估被严格限定为 210 秒。这一时间分配包括：60 秒用于模型训练，60 秒用于在未见文本上进行测试，以及 90 秒的缓冲时间。这部分缓冲主要用于应对 Modal 平台启动 GPU、处理测试环境搭建以及其他潜在的开销。这种时间边界防止了因代理生成糟糕代码导致系统挂起、硬件故障或循环停滞等异常情况。

在优化开始时，提供 引导信息（Guidance） 是 steering the agent 的重要手段。这相当于将人类积累的领域知识和经验注入系统，告诉代理哪些方向值得尝试、哪些可能无效。在 Weco 系统中，可以通过指向一个包含所有信息和上下文的 Markdown 文件来实现这一点。**>

基于代码的树状搜索实验图

AutoResearch 的核心机制是将模型优化视为结构化代码优化过程。该系统以树状结构展开搜索，根节点代表初始基线程序及其对应的基准分数（例如 0.5）。树中的每一个后续节点都是对代码的修改版本，并在评估环境中运行后附带相应的得分。这本质上是一个实验图（Experiment Graph），系统通过不断构建在有效方案之上并剪枝无效分支来推进搜索。当某个分支提升了分数时，系统会基于这些成功思路深入探索；反之则停止该路径。这种结构允许用户检查 AutoResearch 系统所做的具体更改，并在此基础上构建新的优化思路。

实时可观测性与差异分析

由于树状搜索中的每个节点都清晰可见，系统提供了极高的可观测性（Observability）。用户可以打开任意节点查看确切的变化内容，实时观察指标变动并与具体原因建立关联。通过悬停节点可获得变更摘要，点击则可阅读精确的代码差异（diff）。当指标出现跳跃时，用户可以直接追溯导致该变化的代码修改。这种透明度至关重要，因为典型的运行过程可能持续数小时并涉及数百个实验。一旦用户能看清系统的行为，下一步便是能够干预其行为，从而从被动观察转向主动控制。

人类直觉引导的可控性（Steerability）

可控性是 AutoResearch 在真实问题中具备实用性的关键。用户可以用自然语言输入新想法，系统会据此开启新的分支并生成相应的节点和曲线。用户还可以为每个节点分配计算预算，将算力集中在关键路径上。这允许人类直觉和领域知识融入系统，弥补当前代理（Agent）的不足。在 Parameter Golf 竞赛中，可控性发挥了巨大作用：系统初期尝试了新的注意力机制、压缩方法和更丰富的堆栈，但分数在 4月15日至19日连续五天内陷入停滞（Plateau）。此时，社区中一位用户引入了一个巧妙的新型分词器。系统迅速捕捉到这一变化。

"Within eight hours of emerging that change, our system picked it up, fused it with the pieces it had already been working on, and shipped the biggest jump in weeks."

这一融合在八小时内促成了数周以来最大的分数跃升。这表明 AutoResearch 并非简单的“设置即遗忘”工具，而是一种人机协作模式：人类提供创意和方向引导（Steer），系统负责执行、融合与迭代。这种协作循环正是实现真正突破的核心机制。

系统设置与多目标优化策略

在实际部署演示中，AutoResearch 通过读取 README 文件启动默认运行。用户需指定源文件（如 MiniPG 的训练脚本）、评估命令以及验证集 BPB（Bits Per Byte）作为最小化指标。评估器通过 Bash 命令运行并输出分数，该分数成为驱动整个试错循环的关键信号。Dashboard 界面实时展示节点生成情况，例如基线节点的验证 BPB 为 3.93。针对观众关于强化学习（RL）和多目标优化的提问，团队指出 AutoResearch 可应用于 RL 训练脚本。对于多个优化目标，策略是将其合并为单一指标：要么对不同指标应用不同权重，要么将某些指标视为约束条件（如保持模型大小不变），仅优化其中一个目标（如准确率）。

AutoResearch 的稳定性控制与自定义代理支持

在讨论如何提升自动化研究（AutoResearch）系统的稳定性时，演讲者指出可以通过向智能体发出明确指令来引导搜索方向。例如，要求代理“探索量化方法”或检查其连接性。关键约束在于：不能仅改变模型配置，因为目标不仅是超参数调优，还要尝试更激进的方法。如果代理未遵循指令（如“clock didn't follow the instruction”），则说明稳定性控制失效。为了增强可控性，平台支持用户带入自定义代码代理（Bring Your Own Claw Code Agent）到仪表盘中。这种被称为“桥接会话”的功能允许用户同时查看树状结构、指标数据以及代理代码。用户可以通过这种方式手动干预，将搜索过程引导至特定方向。>

结论

AutoResearch 通过基于试错的迭代循环，在 Parameter Golf 挑战中展现了超越人类研究者的效率与产出。Aiden 代理以仅占社区4%的算力消耗，创造了7条排行榜记录及最高OPR H-index，证明其在严格约束下能高效融合创新思路并实现显著性能跃升。其核心优势在于将优化视为结构化搜索，结合快速低噪声评估与人类直觉引导的可控性，有效避免了奖励黑客并加速了突破。

然而，该方法高度依赖鲁棒的评估协议以防止代理利用基准漏洞。它并非完全自动化的“黑盒”，而是需要人类提供领域知识引导方向，并通过自定义代理增强稳定性。适用场景涵盖模型训练、后端工程及推理优化等需多目标权衡的领域，但成功关键在于设计能真实反映性能的评估指标及合理的时间与算力约束。