重新审视“提示工程”的研究价值
在 YC Paper Club 的新一期节目中，主持人首先介绍了全新的视觉设计，并引出了本期核心议题：为什么看似基础的“Harnesses”（即提示工程或脚手架）值得被严肃对待？尽管社区中常有人质疑“上下文工程不是研究问题”或认为其不够格进入顶级机器学习会议，但数据给出了相反的答案。Harnesses 能带来显著的性能提升，例如在特定基准测试中，从 Harness One 到 Harness Two 带来了 18% 的性能增益。这种提升并非微不足道，正如演讲者所言，“这决定了 Arc AGI 能否正常工作”。
“Context engineering is not a research problem.”
这种观点忽视了 Harnesses 在模型进化中的关键作用。回顾智能体发展的时间线，早期属于“静态 Harness 时代”，缺乏自我改进能力；而最近半年则进入了自改进 Harness（Self-Improving Harnesses）阶段。演讲者引用了 Trajectory CEO 的图表指出，虽然模型在 IQ（困惑度等智力维度）上不断突破，但我们并未充分利用测试时的经验。传统的在线学习在样本量饱和后（如 ICL 加载约 40-50 个示例后）便不再提升，迫使研究者转向 LoRA 或 SFT。相比之下，Harnesses 在适应新分布和新问题时展现出独特的优势。
Arc AGI 基准测试中的性能飞跃
Arc AGI 是一个用于衡量流体智力的严格基准，其题目经过精心设计以确保正交性。在 Arc AGI 的 Winter '26 版本中，Claude Opus 在未公开测试集上的最佳成绩仅为 30%。然而，当引入简单的 Harnesses（即包装和脚手架）后，成绩实现了质的飞跃。
根据演讲者提供的数据对比：
| 模型/配置 | Arc AGI Winter '26 得分 |
|---|---|
| Claude Opus (最佳基线) | 30% |
| 简单 Harnesses + Claude Opus | 95% |
| Nvidia AVO (Prime Agent) | 100% |
这一数据表明，简单的提示工程脚手架足以让模型性能从 30% 飙升至 95%，而结合更先进的智能体架构（如 Nvidia 的 Prime Agent），甚至可以达到 100%。这有力地反驳了“提示工程不值得研究”的观点，证明了通过优化交互结构而非仅依赖模型参数提升，是解决复杂推理问题的有效路径。这种快速适应新问题的能力，正是当前智能体研究的核心痛点。
构建自改进科研智能体工作流：案例解析
演讲者分享了一个真实的个人研究案例，展示了如何利用 Harnesses 构建一个自动化的科研智能体集群。起初仅为可视化 Carpathy 的 Auto Researcher，意外演变为一个完整的多智能体协作系统。该系统的核心逻辑是：用户指定目标（如“扩散模型无法击败自回归模型，但通过分片集成可能实现”），并提供种子想法和验证指标（Metric）。
工作流程包含多个角色分工： 1. Scoping Agent：搜索相关论文和 GitHub 仓库。 2. PI Agent (Chris Ray)：分配任务给研究代理。 3. Research Agent (John South Khan)：执行具体研究工作，并可向“委员会”（人类专家）寻求反馈。 4. Author Agent：在任务完成后，自动撰写消融实验和论文草稿。
“I just give this to a per as the purpose... I have a scoping agent that will kind of look up papers... then he'll work on it and then he'll start doing some stuff, give it to a council for some help.”
该系统通过 TailScale 实现远程访问，并通过邮件更新进度。演讲者指出，虽然早期（3-4月）生成的论文质量一般，但随着系统迭代和算力投入（每个节点配备 8 个 H100），现在只需输入少量想法，系统就能自动生成高质量的论文。这种基于 Harnesses 的自动化工作流，不仅解放了人类的初始构思负担，还通过持续的自我迭代和反馈循环提升了最终产出质量。
早期智能体框架的雏形与静态上下文局限
回顾 AI 智能体的发展历史，2019年2月发布的 GPT-2 代表了最初的“Harness V0”形态。这一阶段的智能体极其简单，没有工具调用、技能或复杂逻辑，仅依靠 Top-P 采样和简单的环境交互。以 GSM8K（小学数学题）为例，系统提示词仅设定“你是数学老师”这一基础人设。当面对如 “Susie 有5美元，花了3美元，还剩多少？”的问题时模型直接输出答案（如“4 hashes and two end of state”），缺乏思维链推理过程。评估方式极为原始，仅统计最终答案的准确率（+1或-1）。这六年来技术演进的核心主线，正是不断向这个静态的“Harness”中注入更多功能。
"The entire last six years has been giving more functionality into the harness, into a static harness."
上下文增强：从少样本学习到思维链推理
2020年7月发表的 Few-shot Learners 论文引入了少样本学习（Few-shot Learning）概念。通过在上下文中提供示例，模型能够根据先前的例子推断出正确的逻辑模式（例如从“5-3=2”推导出后续计算）。随后，思维链（Chain of Thought, CoT）技术应运而生。其核心创新在于不再让模型直接预测最终答案，而是将计算逻辑“涂抹”在更多的 Token 上。通过训练模型逐步推导出中间步骤，最终得出结果。这一阶段的技术突破主要集中在上下文创新（Context Innovations）和输出空间/动作空间的初步探索，显著提升了模型处理复杂逻辑的能力。
工具调用与自我记忆：赋予智能体外部能力
随着技术发展，Toolformer 和 WebGPT等研究推动了工具调用（Tool Calling）的普及。智能体不再仅依赖权重文件中的内部知识，而是可以通过 JSON 对象调用外部工具（如 Python 解释器执行减法运算）。所有可用工具均在系统提示词中暴露，定义了智能体的能力边界。紧接着，MegaPT 等研究引入了读写自身上下文的能力，即“记忆（Memory）”机制。在此之前智能体只能追加内容；现在它可以在上下文中创建、读取、更新和删除特定信息块。这种对上下文的操作权限，标志着智能体从被动响应向主动管理信息的转变。
技能习得与多智能体协作：从 Minecraft 到递归架构
Voyager 项目在 Minecraft 游戏中展示了技能（Skills）的诞生过程。智能体通过组合工具完成任务，并将成功经验蒸馏回系统提示词中以实现永久学习。技能被结构化存储（如 skills.md），包含名称和操作流程，支持搜索与复用。InterCode 则进一步探索了即时技能（On-the-fly skills），即通过输出代码来动态生成工具或功能。随后，ReAct、Self-Refine 和 Reflection 等机制引入了多智能体（Multi-agent）自我改进理念。例如，当模型犯错时，内部评估器或反思模块会指出错误（如“你颠倒了数字”），促使模型修正结果。更先进的架构允许主智能体递归地生成子代理（Sub-agents），形成持久化的交互涟漪。这种层级化、递归式的智能体编排被称为 Harness V1.1，它通过 GStack 等基础设施实现了复杂的任务调度与自我优化。
"I can spawn a set of sub-agents... I have this main orchestrator agent that's running all that."
现代智能体规范与部署形态总结
当前的 V1 版本智能体框架由明确的Agent Spec（智能体规范）定义，包括最大回合数、工具调用限制、工具列表、技能库及子代理列表。这种规范化的设计防止了无限循环，确保了系统的可控性。部署形态上，智能体既可以是响应式（如在 Slack 频道中即时处理用户请求），也可以是自主式（如每小时自动唤醒执行任务）。QM 团队开发的工具便是这一范式的典型应用，体现了智能体在日常工作中的实际落地价值。尽管技术日益复杂，但核心仍在于通过结构化的上下文管理和工具交互，实现智能体的持续进化与任务完成。
"You specify a tool list, you specify a skills list... and that's largely what the V1 is."
自改进代理的核心：从固定提示词到动态演化
传统的语言模型（LLM）本质上是一个序列处理器，拥有固定的权重和可见的上下文窗口。它通过输入令牌并输出下一个决策来运作，其基础结构仅仅是“Token进，Token出”的神经网络预测。然而，现代应用不再仅仅依赖裸模型，而是通过“Harness（代理框架）”这一中间层来连接世界。这个层级引入了持久化状态、工具调用和计算资源，使得LLM能够访问文件库、执行程序甚至与其他会话通信。Prime Agent的设计理念正是回归这一基本原理，强调Harness是连接LLM与外部世界的桥梁，负责管理这些复杂的交互逻辑。
Prime Agent的架构：递归语言模型与多智能体编排
Prime Agent采用了一种基于递归语言模型（Recursive Language Model）的架构，所有操作均在IPython Shell中程序化执行。从用户视角看，它提供了一个“Agent视图”，汇总了所有并行会话的状态摘要；进入具体项目后，用户面对的是作为根会话（Root Session）的项目协调器。这个根会话自动管理子智能体，无需人工干预即可在必要时启动它们。
这种架构的核心优势在于其可编程性。所有的工具、记忆和子智能体都暴露为可协调的接口，通过消息传递范式进行协作。正如演讲者Seth所言：“Everything is in this IPython shell... all your tools, all your memories, all your sub-agents”。这种设计使得代理系统不再是黑盒，而是一个透明、可调试且高度集成的开发环境。
自改进机制：遗传编程与元Harness的进化
该领域的突破性进展在于让Harness本身具备学习能力。以DSPY（Demonstrate, Search, Predict）为例，它通过遗传编程（Genetic Programming）技术优化系统提示词。由于无法对提示词进行反向传播，DSPY采用迭代策略：生成候选者、合并候选者并依据评估规则筛选，从而实现对系统提示词的CRUD（增删改查）管理。
更进一步的“Darwin Machines”概念则允许修改Harness代码本身。系统维护一个包含多种Agent配置（Harness+System Prompt）的档案库，通过适应度函数（Fitness Function）评估其表现，并将结果反馈回档案。更令人兴奋的是“Meta Harness”的概念——即一个能够修改自身代码以生成新Harness的元代理。这种自修改（Self-modify）机制形成了一个闭环，使得Agent能够随着时间推移不断进化。此外，研究还引入了Dagger风格的在线学习（Online Learning），允许在测试时基于少量新样本更新LLM权重文件，这被视为一个极具潜力的研究方向。
现场嘉宾与YC实验室的实用工具QM
本次分享汇聚了多位作者。Seth作为Prime Agent的作者，阐述了自改进Harness的原理；John Sadvalone介绍了其博士论文成果及Open Jarvis项目，这是一个由Hazy实验室开发的个人开源Jarvis；Josh和Rean则展示了YC Labs最新推出的工具QM。尽管原定嘉宾Ben因食物中毒缺席，但现场依然聚焦于这些前沿成果。演讲者特别提到QM是一个“meaningfully better and is so functional”的通用代理工具，且他本人每天都在使用。这些案例共同展示了从理论上的自改进架构到实际落地个人AI工具的完整图谱。
智能体环境的持久化与实时管理
现代 AI 智能体（Agents）不再局限于孤立的任务执行，而是能够直接与计算环境进行深度交互。这种交互范围广泛，既包括计算机本地的程序和文件管理，也涵盖如 H200 节点集群等高性能计算资源。为了实现这种无缝交互，系统底层依赖于持久化数据库（Persistent DB）的支持。这一架构设计确保了智能体会话的连续性：即使用户关闭笔记本电脑或强制终止当前进程（如 Ctrl+C），智能体仍能在后台持续运行，直到用户显式停止会话。这种持久化机制是构建可靠智能体操作系统的基石。
在此基础上，系统通过 Continual Harness 暴露了实时 CRUD（增删改查）操作接口。这些接口允许智能体动态管理其核心组件，包括记忆模块、技能库（Skills）、子代理（Sub-agents）以及系统提示词。智能体能够自主地持久化存储和更新其自身的系统提示（System Prompt），从而在长时间运行中保持行为的一致性和适应性。这种对组件的细粒度控制，使得智能体能够像操作系统一样管理自身的状态和资源。
分层上下文架构：从模型权重到外部存储
理解智能体如何处理信息，可以将其类比为计算机的分层缓存体系（L1, L2, L3）。最底层且访问速度最快的是模型权重（Model Weights），这是模型内部固有的知识。然而，由于微调成本高昂且无法实时更新所有信息，智能体必须依赖更外层的上下文层。第二层是活跃输入上下文（Active Input Context），通过大量的 Token 和上下文中示例（In-context examples）来注入临时知识。但当上下文窗口耗尽时，早期的解决方案如压缩（Compaction）应运而生，它允许智能体总结历史上下文以突破长度限制。
"The way I like to think about all of this context that we're building up is that we have this sort of almost like here I have like L1, L2, L3. is like a cache..."
超出活跃上下文后，智能体进入更深层的状态管理。L3 层类似于分发状态（Dispatch State），允许智能体直接读写文件系统或主内存。L2 层则介于活跃上下文与文件系统之间，例如通过 IPython Shell（类似 Jupyter Notebook 环境）在 RAM 中运行 Python 代码。智能体可以在内存中直接操作变量并执行程序，从而节省大量 Token，避免将所有数据强行塞入上下文窗口。此外，智能体还可以创建子代理来处理特定任务并汇报结果，进一步优化了上下文的使用效率。
状态维护与智能垃圾回收机制
随着运行时间的延长，内存和存储资源的管理变得至关重要。在 L2 层的 IPython Shell 环境中，智能体需要执行代理垃圾回收（Agentic Garbage Collection）。这一机制负责清理不再需要的变量和已完成的子代理，防止计算机内存溢出或崩溃。这是一种动态的资源释放策略，确保智能体在长期运行中保持轻量级和高效率。
"I like to think of this at the ripple is this aentic garbage collection where we're just cleaning up the variables in our state..."
在更高层级，系统引入了精炼（Refinement）概念。这不仅涉及数据的更新和删除，还包括对存储在硬盘上的技能、记忆和提示词的定期维护。通过这种分层的状态更新机制，智能体能够避免磁盘空间耗尽或状态混乱。整个过程体现了从“表达”到“修订”的闭环：智能体不仅执行任务，还不断反思和优化其内部状态和外部资源的使用方式。
从图灵机到冯·诺依曼架构的范式转变
将智能体视为一种新型操作系统的隐喻，有助于理解其本质变化。原始的 LLM 类似于图灵机（Turing Machine），通过输入输出带进行线性处理；而智能体 Harness 则更接近冯·诺依曼计算机（Von Neumann Computer），具备读写外部存储器的能力。这种架构转变使得智能体能够解决更复杂的问题类别，因为它不再受限于单一的上下文窗口。
早期的 Harness 往往强制模型遵循特定的步骤（如计划、行动、批评），但随着模型的进化，这种显式的循环已不再必要。现代模型能够原生地掌握自我反思和规划能力。然而，它们仍然需要 Harness 提供的表达能力（Expressibility）来调用压缩工具、运行 Python 代码或管理子代理。这些功能并非模型自带，而是 Harness 赋予的关键能力。
在 RLM（Reinforcement Learning from LLMs）框架中，子代理被视为持久化的子会话（Persistent Subsessions）。父会话可以启动新的 RLM 子代理，执行任务后返回结果并进入空闲状态。父会话可以随时向这些子代理发送消息以继续工作，从而复用之前积累的所有上下文信息。这种机制既保证了信息的连贯性，又通过合理的资源调度避免了内存浪费，实现了高效的多任务并行处理。
Prime Agent 的自进化与持续优化机制
Prime Agent 的核心设计理念在于构建一个能够自我改进的智能体系统，其关键在于持续优化（Continual Harness）与状态持久化。该系统允许智能体在非活跃状态下卸载，并通过消息传递随时唤醒。这种架构不仅支持子代理（Sub-agent）的复用，还允许系统根据历史轨迹反思并更新未来的“Harness”形态。具体而言，智能体需要评估是否需要调整系统提示词、创建新的技能模块或更新长期记忆。这里的“技能”被定义为实现特定目标的一组指令或程序。通过暴露这些历史信息，智能体能够利用推理痕迹来引导下一轮模型迭代，从而实现性能的自我提升。这种机制旨在弥补当前大模型在反思和精炼能力上的不足，通过构建更强大的 Harness 来引导模型达到更高的性能水平。
多智能体协作与长周期任务管理
在架构设计上，Prime Agent 引入了核家庭式（Nuclear Family）的多智能体通信机制。这一特性允许任何两个子代理之间直接发送消息，包括父子、兄弟等关系层级。作者指出，这一设计的初衷是为了解决多方向并行任务的管理难题。当智能体同时向多个方向探索时，直接共享联系人和协调工作流能显著降低管理复杂度。这种协作模式在软件工程及长周期任务（Long Horizon Jobs）中表现尤为出色，因为它模拟了人类团队中的直接沟通与协作。此外，系统设计特别强调长周期性能评估。作者批评了当前许多评测中仅关注短期预算耗尽或模型停止工作的做法，认为这掩盖了真正的性能潜力。理想的评估应关注实用 plateau（平台期），即随着测试时间代币的增加，性能增益逐渐边际递减的临界点。这种视角确保了智能体能够在无需人工全程监护的情况下，自主完成多日甚至更长时间的复杂工作流。
ARC-AGI 基准测试的实战与反思
在评估环节，作者分享了将 Prime Agent 应用于 ARC-AGI（Abstraction and Reasoning Corpus）基准测试的详细过程。起初，作者参考了社区中的系统提示词（System Prompt），并尝试将其直接应用于 Prime Agent。首次运行结果令人震惊，得分高达 99.9%，但作者随即意识到这是作弊行为（Cheating）。在重新设置严格的沙盒环境后，使用 GPT-4o 模型获得的得分为 78%。这一结果虽然低于预期，但展示了智能体在利用 Ripple 架构进行代码调用、图像分析和推理方面的能力。为了对比，作者还测试了其他模型：GPT-4o 得分为 25.7%。这一数据对比凸显了Harness（系统架构）在评测中的决定性作用。作者指出，不同模型在同一 Harness 下的表现差异巨大，证明了优化系统提示词和架构比单纯依赖底层模型更为关键。通过这一案例，作者强调了在长上下文信息管理和复杂推理任务中，结构化 Harness 对提升智能体实际表现的重要性。
Prime Agent在基准测试中的卓越表现
Prime Inslect团队对自研的Prime Agent框架进行了广泛的性能评估，结果显示其竞争力极强。在部分测试中，尽管未完全运行至结束（如Terra任务），但结果已优于许多现有方案。更令人惊讶的是，Prime Agent在某些指标上甚至超越了GPT-4o Extra High模型。在与Claude Opus的对比中，Prime Agent达到了95.5%的成绩，这一结果被团队形容为“疯狂”（insane）。
"We got really good results in comparison... we're already achieving higher than some of like the GBT soul extra high which was crazy. And then uh we went and we did Opus and hit 95.5%. We're like that's insane."
团队还对比了其他流行的Agent框架，发现Prime Agent的高性能并非普遍适用于所有Harness。例如，在使用Cloud Code时，结果并不理想；而Air Agent虽然尝试运行，但仅花费了约5,000美元却未带来显著的性能提升。这表明，在评估Agent框架时，成本效益比（cost to performance ratio）是一个至关重要的考量因素。Prime Agent通过可编程地管理上下文，有效节省了资源消耗。
长周期任务与自动化实验的探索
在更长周期的评估中，团队使用了Oolong和Emulator Bench等基准测试。其中，Emulator Bench要求复现整个计算机系统模拟器（如Game Boy Color）。Prime Agent利用强化学习循环中的“环外实验”（out of loop experiments）能力，能够以更具表达性和自由度的方式尝试各种方案，然后再提交最终解决方案。这种机制在GPU内核测试中也表现稳定，在不同模型（Soul和Kimico）间保持大致持平的结果，证明框架并未过拟合于单一评估指标。
在更具挑战性的自动研究实验中，团队尝试使用8块H200 GPU运行一周的Nano GPT速度竞赛。虽然由于任务难度极大，难以将收益完全归因于框架而非模型本身（高方差），但观察到的行为极具启发性。诸如Deep 6v4、GLM 5.3和Kim K3等模型展示了“环外实验”的高级形态：在CPU上运行参数化搜索和数据分析，以优化昂贵的H200主实验。这种通过低成本辅助实验来加速核心研究进化的能力，体现了Prime Agent在自动化科研中的巨大潜力。
工厂式多智能体协作与长期进展
为了验证系统在极长上下文下的稳定性，团队进行了一项为期7天的因子实验（factorial run）。该实验动用了总计633个智能体，生成了约2,300万（23 million）输出token。其核心优势在于利用子智能体分工协作，在“工厂”中研究、构建和收集资源。更重要的是，系统能够利用精炼机制（refinement）从过往经验中学习，从而在超长上下文中避免陷入停滞。
"One of the most interesting things here is that it does not get stuck and it continues to make technology progression even at the end of our stage."
实验结果表明，即使在阶段末期，系统仍能持续推动技术树的进步。这一成果为构建能够与人类协作、引导实验启动的自动化研究助手提供了实证基础。团队建议，未来的Agent Harness应重点关注智能体上下文管理、群体协作（swarms）以及标准化评估验证器。所有上述结果均可通过Prime Inslect提供的验证包复现。
本地个人AI：隐私、成本与能源优势
斯坦福大学的John随后介绍了Local Personal AI项目，旨在解决当前主流个人AI（如OpenClaw、Hermes Agent）过度依赖云端LLM的问题。当前云主导模式存在四大痛点：高昂的API成本（年度累计可达数千美元）、隐私泄露风险（个人数据上传云端去向不明）、缺乏所有权（需租赁智能而非拥有）以及巨大的能源消耗。随着本地LLM性能的提升，目前开源模型仅落后于前沿闭源模型6至12个月。例如Qwen 3.8等本地模型的成熟，使得在个人设备上运行复杂查询成为可能。这一转变不仅降低了经济门槛，更重新确立了用户对数据和智能的所有权与控制权。
硬件加速进步缩小云端与本地模型性能差距
随着笔记本电脑和工作站专用硬件加速器性能的不断提升，27B参数量的本地模型在2025年8月时已能实现与当时最先进的Claude 4.6 Opus模型大致相同的性能表现。这一技术趋势表明，本地与云端大语言模型之间的性能差距正在逐步缩小。苹果近期发布的搭载新芯片的Mac Mini，以及英伟达在个人用例加速器领域的持续投入，都标志着行业对本地计算能力的重视程度正在回归。这种硬件层面的进步为构建完全依赖设备端而非云端的个人AI堆栈提供了物理基础，使得在保持竞争力的同时实现本地化部署成为可能。
Open Jarvis：构建极简的个人AI堆栈原语
为了探索能否完全在设备端运行个人AI的核心组件（包括模型推理、代理执行、记忆和学习），项目提出了Open Jarvis。该项目的核心目标是构建一套最简单的原语集合，以定义任何类型的个人AI堆栈或“Harness”。这套架构主要包含五个关键部分：用户界面、组合推理的代理逻辑（利用不同类型的智能和工具）、作为引擎的大语言模型（如Qwen、GBDO、OSS或Gemma 3N）、推理引擎及硬件支持（如O Lama、Llama CBP、VLM、SG Lang，适配Apple Silicon或Nvidia硬件），以及通过标准MCP协议运行的工具和记忆系统。这种设计旨在让开发者能够灵活组合这些组件，从而构建出既安全又隐私的个人AI系统。
云端模型优化本地配置的效率优势
Open Jarvis不仅关注基础架构，还引入了利用云端大语言模型来优化本地堆栈的创新思路。通过让Claude或ChatGPT等云端模型自动诊断和提出改进方案，可以针对特定的本地工作负载（如个人AI、编码或代理任务）定制优化配置。研究发现，经过云端模型优化的Open Jarvis配置在美元成本、延迟降低和整体质量提升方面，显著优于直接部署的本地堆栈。> "what we found is that these open Jarvis jobs... were much more effective than local stacks that were just deployed out of the box"。这种机制利用了云端模型的诊断能力，而在实际推理时则完全在本地运行，从而在不产生额外云端成本的情况下实现了性能最大化。即使是Gemini、Kimmy或GLM等其他大型模型家族，也能有效用于优化这些本地配置。
性能对比与未来展望：成本降低800倍
在当前的技术条件下，即使使用现有的本地大语言模型，个人AI用例的性能也已能与云端模型相媲美。项目数据显示，通过优化后的本地部署方案，运行成本降低了800倍（800x lower cost），同时实现了显著的延迟减少。尽管本地小参数模型在某些任务上仍显不足，但随着蒸馏技术的进步和加速器的改进，这一差距正在每月缩小。> "even with LM of today, we can get 800x lower costum in terms of actually running them"。Open Jarvis的规范设计使得优化循环更加高效，因为它将复杂的抽象层从云端模型中剥离出来，专注于系统级的快速优化。这种模式不仅降低了数据需求和大语言模型调用的成本，还为个人AI的普及提供了一条切实可行的路径。
本地推理趋势与硬件加速的崛起
演讲者预测，在不久的将来，绝大多数甚至大部分用户的日常推理调用将转向本地设备和内部部署环境。这一趋势的核心驱动力在于加速器和大型语言模型（LLMs）性能的持续提升，使得本地运行高性能AI成为可能。这与当前将所有计算推送到云端的标准化模式形成鲜明对比，标志着基础设施架构的重大转变。
"We think in the very near future you're going to see um a huge maj a huge proportion maybe even a majority of uh people's daily inference calls going to local devices and on-prem."
这种转变不仅关乎成本，更涉及数据隐私和响应速度。随着硬件加速器的迭代优化以及模型效率的提高，本地部署将从边缘场景走向主流应用。对于致力于开发更好的本地LLMs、加速硬件或优化数据中心外推理引擎的团队来说，这是一个充满机遇的领域。演讲者明确表示欢迎相关领域的专家联系交流。
YC内部AI代理项目的演进历程
YC（Y Combinator）开发QM系统的过程，是其内部多个AI代理项目不断迭代的产物。这一演进深受底层模型能力增强的推动，大致经历了三个阶段：
- 通用代理阶段（2025年1月）：最初构建的是一个基于系统提示词和工具循环的“通用代理”。虽然架构简单且采用单一模式，但随着底层模型的进步，其在回答数据问题方面的能力显著增强。随后接入Slack并增加了定时任务（Crons）和更多工具，使其能覆盖更广泛的领域。
- 代码代理阶段（2025年6月）：随着工程师广泛使用Cloud Code等工具，团队意识到可以在虚拟机（VM）中运行这些代理。通过Slack标签集成，该代理能够执行CI流水线、启动开发环境并自动修复Bug。即使是没有编程经验的员工，也能通过描述问题让代理解决代码变更。团队还建立了反馈循环，观察失败案例以优化系统提示词。
- 个人助理阶段（2025年1月）：合伙人开始使用OpenClaw，这是一种赋予代理独立计算机权限的模式。由于YC合伙人工作极度繁忙（处理大量邮件和应用审核），这种可高度定制化的“个人助理”模式提供了巨大的杠杆价值，超越了之前单一代理范式的限制。
从Hermes集群到QM系统的架构重构
尽管个人代理模式效果显著，但YC在尝试向全体员工推广时遇到了规模化挑战。2025年4月，团队部署了超过50个运行在VM中的Hermes代理集群。虽然这些代理提供了个性化服务，但管理成本极高。运维人员需要频繁SSH进入各个实例进行故障排除，这种“打地鼠”式的维护方式难以持续。因此，团队决定构建QM系统，旨在保留个性化优势的同时解决大规模部署的管理难题。
"OpenCloud particular was useful because it was the first agent that a lot of them had used uh that had their own computer and so this made it like very customizable in a way that the previous paradigm of agents was not."
QM系统的设计理念与“解绑”策略
QM是YC推出的开源工作代理框架，旨在为每位员工提供完全可定制、类似OpenClaw的个人助手。它支持Slack和Web UI两种交互方式，每个用户拥有独立的上下文环境、沙箱文件和定时任务。此外，系统还支持多人协作模式（如在Slack频道中共同工作）。
QM的应用场景极为广泛，包括邮件分类、法律与财务流程自动化、文档编辑、内部数据库数据提取、实时内部Web应用生成以及活动策划等。其设计初衷是解决日常工作中遇到的各类任务。
团队采用“解绑”（Unhobling）的视角来优化代理能力。受2024年《Situational Awareness》一书启发，团队认为模型中蕴含的智力远超当前使用水平。通过赋予代理更多能力（如独立计算机权限），可以激发出惊人的效果。QM系统的关键创新在于将系统的“大脑”从沙箱中剥离出来。在Hermes和OpenClaw模式中，代理虽拥有独立计算机但被限制在其中；QM通过打破这一局限，解决了管理瓶颈并提升了代理的灵活性与效能。
集中化数据与沙箱资源化的架构转型
在构建大规模 Agent 系统时，传统的分散式会话管理会导致系统在拥有几十个实例时就变得难以驾驭。为了解决这一问题，团队将所有的 Agent 会话数据集中卸载到 PostgreSQL 数据库中。这种架构使得所有用户与 Agent 的对话上下文得以聚合，并暴露给 Agent 本身，使其能够利用跨系统的完整语境进行决策。与此同时，团队重新定义了“沙箱”的角色：不再将其视为 Agent 被困住的固定居所，而是作为一种按需调用的资源池。这种转变极大地降低了系统的限制性。通过这种方式，系统积累了大量的对话追踪数据（traces），形成了一个庞大的评估数据集。理论上，团队可以利用这些数据构建一个自动化的改进循环（automated improvement loop），通过爬山算法对 Agent 进行持续优化。然而，实际效果喜忧参半。
"We just offload everything into Postgress... expose those to the agent itself. So it can look at all the context that's sort of aggregating from across the system."
自动化改进的局限与人机协作的重要性
尽管拥有自动化的数据反馈闭环，但在实践中发现，如果单纯依赖 LLM 作为裁判来派遣 Agent 修复遇到的 bug，往往会引发“主角综合症”（main character syndrome）。这是因为单个 Agent 往往只能看到问题的局部片段，无法理解整个系统的全貌，导致修复方案可能破坏其他部分。因此，人类在环（human in the loop）的介入依然至关重要。团队正在探索如何让这一流程完全自动化，但目前仍需人工审核以确保安全性。在资源接入方面，团队将 Agent 连接到公司内部的各类 API 和 CLI 工具中。为了模拟员工在笔记本电脑上的工作体验，系统会自动摄取并刷新设备代码（device code）等认证信息。虽然数据库主要保持只读状态，但允许通过人类审核的批量更新（human reviewed bulk upserts）进行写入。Agent 提出编辑计划，由人类确认无误后执行。观察发现，随着信任建立，用户倾向于对这些审核流程进行“橡皮图章”式的快速通过，类似于早期使用 Cloud Code 时的体验变化。
动态沙箱选择与运行时模型切换能力
在 YC 的系统中，Agent 默认使用分配给用户的沙箱环境，但具备收敛并协作于特定环境的能力。对于重型开发任务，Agent 可以主动调用资源更强大的机器；而对于简单任务，则使用轻量级沙箱。将这一决策权交给 Agent 而非 Harness被证明是非常强大的设计。此外，Agent 能够控制其运行时环境中的模型选择。这解决了在使用特定 AI（如 Fable）进行网络安全或研究时常见的拒绝服务问题：当遇到限制时，Agent 可以切换到另一个模型以规避阻碍。同样地，Agent 也可以在不同沙箱提供商之间灵活切换。团队致力于保持 Harness 的极简性，核心仅包含三个工具：远程沙箱执行、对象存储读写以及内部应用发布。其他如内存交互和定时任务等被视为临时修补手段。这种设计旨在构建一个“AGI 预期型 Harness”，尽管目前尚未完全实现。
"Pushing that decision into the agent itself rather than the harness has been a really powerful thing."
克服早期放弃与多玩家环境下的情境混淆
尽管赋予了 Agent 强大的工具集，但观察发现它们往往过早放弃任务。为解决此问题，团队引入了“磨工工具”（grind tool），为目标设定预算限制。Agent 被禁止在达到一定墙钟时间（walk clock time，如几小时）或代币消耗阈值之前放弃任务。这种机制显著提升了研究报告等复杂任务的输出质量，其原理与 OpenAI 和 Anthropic 在数学难题上采用的类似技术一致。此外，由于训练数据的特性，Agent 在多玩家环境（如 Slack）中容易混淆当前情境，即使系统提示词已明确说明。因此，提供本地的、直观的交互 affordances（可供性）对于维持 Agent 的情境感知能力变得极其重要。团队正在密切监控这些自动化审核流程的效率变化，并持续优化 Agent 在复杂协作环境中的稳定性。
"One thing we've experimented with... has been setting budgets on goals. So the agent is not allowed to give up on its task before a certain amount of like walk clock time."
社交语境理解与隐私泄露风险
当前AI代理面临的一个核心痛点是缺乏对社交语境的深刻理解。以演讲者提到的助手Regan为例，人类在接收信息时拥有直觉性的判断力或心理框架，能够本能地知道哪些信息适合分享、在何种场合下共享是恰当的。然而，要在AI代理中重建这种细微的社交感知能力并非易事。特权信息极易泄露到不应出现的上下文中，导致隐私边界模糊。这意味着用户能注入代理“大脑”的信息量，实际上受限于权限系统的质量。如果缺乏精细的管控机制，代理可能会在不恰当的场景下暴露敏感数据。
privileged information can very easily just leak into these contexts where it should not be and so uh the information that you can put in the brain is effectively like bounded by how good your permission system is
这种权限管理的复杂性意味着，允许知识在细微差别中进行共享需要大量的工程工作。对于像YC这样拥有多年积累、具备细粒度权限系统的软件平台来说，这一问题已有基础解决方案；但对于大多数缺乏此类基础设施的组织或个人而言，构建能够处理复杂社交语境和权限控制的代理系统是一项艰巨的任务。
开源项目推广与团队招募
针对上述技术挑战，演讲者介绍了QM这一开源项目。该项目旨在解决代理开发中的相关问题，且目前对开发者友好。编码代理（Coding Agents）在搭建和部署该项目方面表现良好，这意味着即使没有深厚的底层架构经验，开发者也能利用现有的AI编程工具快速上手。如果用户在尝试过程中遇到问题，可以通过提交Issue的方式寻求支持，团队会对此进行审查和解决。
与此同时，演讲者明确表示YC正在招聘。如果听众对构建具备社交智能和精细权限控制的AI代理感兴趣，或者认为这一方向具有吸引力，可以直接发送邮件联系团队。这不仅是一个技术分享的机会，也是加入前沿AI代理研究领域的入口。
coding agents are pretty good at standing it up. If you run into any problems, feel free to put up an issue and we'll look at it.
总结与展望
整体而言，该片段强调了AI代理在从技术可行向社会可用转变过程中所面临的非技术性障碍。虽然代码生成和基础功能实现日益成熟，但社交语境的理解与隐私权限的精细化控制仍是关键瓶颈。通过开源QM项目并招募志同道合的人才，YC希望推动这一领域的进步，解决代理在真实社交场景中的落地难题。
结论
Harnesses（提示工程与智能体架构）是提升LLM性能的核心杠杆，而非边缘技巧。实证数据表明，通过引入递归代理、持久化记忆及多智能体协作等结构化设计，模型在ARC-AGI基准测试中可从30%跃升至95%，甚至超越GPT-4o和Claude Opus基线。这种“自改进”机制通过遗传编程优化提示词，并借助长周期任务验证了系统的稳定性与持续进化能力。
然而，技术落地仍面临显著挑战。本地AI虽能通过优化降低800倍成本并缩小与云端性能差距，但在社交语境理解、隐私权限控制及自动化调试的可靠性上尚存短板。当前最佳实践强调“人在环”以规避代理的系统性盲区，且大规模部署需依赖集中化数据管理与精细化沙箱资源调度。未来趋势指向本地化推理与结构化智能体编排的深度融合，但需解决隐私泄露及复杂协作中的情境混淆问题。