发现的概念与优化树的构建

Shangyin Tan 在首次参加播客时，深入阐释了其论文《Scaling Discovery Requires Forgetting》中的核心概念“发现”（Discovery）。这一视角源于他们之前的工作 Jephtha，那是一个利用大语言模型作为提议者或优化器来提示词进行优化的框架。在研究过程中，团队意识到 Jephtha 不仅适用于提示词优化，更是一个通用的框架，可用于优化代码、GPU内核甚至智能体编排等任何文本形式的工件。Tan 指出，“我们发现 Jephtha 是一个极好的框架，不仅适用于提示词，也适用于其他任务”。这种优化过程会形成一棵自然的“优化树”，其中每个候选方案都依赖于其父节点，并根据相对于其他候选者的优势进行演化。这种结构类似于文本工件的发现过程，通过层层筛选和迭代，逐步逼近更优解。

提示词优化与程序优化的本质区别

在后续发表的《Optimize Anything》论文中，Tan 团队进一步区分了不同类型的优化任务。他将提示词优化（Prompt Optimization）类比为“泛化测试”（generalization test）。因为提示词需要应对大量不同的用户查询，而非单一输入，所以在优化过程中只能访问整个数据分布的一个子集。Tan 强调，“提示词优化类似于泛化测试……你实际上希望你的提示词能处理很多东西”。相比之下，程序优化（如 GPU 内核优化）通常属于“单问题优化”（single problem optimization）。开发者往往只关心特定代码在特定硬件上的表现，不追求广泛的泛化能力。因此，“如果你在你的优化过程中分数提高了 10 倍，你知道这在生产中也会提高 10 倍”，这种优化结果是可以直接信任并复现的。

混合类型与评估成本的考量

除了上述两种极端情况，还存在介于两者之间的第三种优化模式。例如同时优化一组（如 10 个或 100 个）内核，或者编写生成这些代码的提示词。在这种模式下，优化者并不直接针对单一工件进行微调，也不追求超出训练数据的泛化能力。Tan 解释，“你仍然在编写提示词……但你并不关心在你的训练数据之外的泛化能力”，因此无需像第一种情况那样谨慎地进行验证。主持人 Sheng Yen 补充指出，这种差异也体现在评估成本上。以使用 Claude Code 从头编写数据库为例，其评估过程极其昂贵且耗时，因为需要加载大量数据才能验证结果。这与训练模型或优化提示词时的评估逻辑不同，后者往往更侧重于对少量样本的泛化能力测试。这种对优化目标和评估成本的清晰界定，为理解不同 AI 辅助开发场景提供了重要的理论框架。

自动研究的两种并行范式及其局限性

在自动化研究（Auto Research）领域，目前存在两条并行的技术路线。第一条是以 JAX 为代表的框架式优化方法，研究者利用特定的编程框架来执行和优化算法；第二条则是类似 Capacities 的自动研究风格，其核心逻辑更为极简：仅依赖一个编码智能体（Coding Agent）配合提示词工程。在这种模式下，用户只需在提示词中明确告知智能体“优化什么”、“如何优化”以及“如何评估”，剩下的工作便由该单一智能体完成。

随着自动研究逐渐从实验走向日常实际工作，其痛点也日益凸显。正如演讲者所言：">> one of the biggest problem as you said is that the evaluation might take a lot time and then because all you have is a single coding agent, all the control is in that single coding agent." 这种架构的致命弱点在于控制权的集中与评估耗时的矛盾。当评估过程极其漫长时，单一智能体必须处于等待状态以获取反馈信号才能继续下一步操作。这种串行阻塞不仅效率低下，还限制了智能体在复杂搜索空间中的探索能力。

优化轨迹的停滞现象与“遗忘”策略的发现

为了深入理解这一瓶颈，团队在开发 "Optimize Anything" 框架时进行了大量实验。该框架构想成为所有优化任务的通用前端，支持切换不同的后端引擎，包括 Jepa、Auto Research 的大型智能体以及 Meta Harness。然而，实验揭示了一个令人震惊的共性现象：无论使用何种后端框架，在启动轨迹优化（Launch Trajectory Optimization）一段时间后，进展都会陷入停滞。

具体表现为：智能体或优化器在初期能实现极快的性能攀升，擅长将单一基线转化为更复杂的模型；但经过约 2 小时的优化后，性能曲线开始扁平化（flatten out），几乎不再产生显著进步。为了解决这一阻塞问题，团队尝试了一个简单的实验：将当前找到的最佳候选方案从 Jukebox 优化器中提取出来，放入 Auto Research 中继续优化。结果发现，性能再次显著提升。

“遗忘”在上下文管理中的核心作用

深入分析后，团队意识到成功的关键并非“切换优化器”，而是“遗忘”（Forgetting）。在遇到停滞时，最有效的策略是丢弃所有历史上下文和之前的优化路径信息，仅保留当前最好的单一候选方案作为新的起点。演讲者明确指出：">> the key to the success is to forget about anything else, just to have this best candidate so far is good enough for unblocking the process." 这意味着，在优化陷入僵局时，清除历史负担比引入新工具更为关键。

这一发现与长上下文（Long Context）处理中的常见问题紧密相关。在使用 Claude Code 等编码智能体进行自动研究时，随着迭代次数增加，模型往往会偏离预期行为。即使人类发出指令禁止某些操作，智能体在后续几轮中可能遵循指示，但很快又会重蹈覆辙。这是因为模型被训练为关注大量上下文信息，历史中的错误模式或干扰项会持续影响当前决策。因此，“遗忘”本质上是一种上下文压缩机制，旨在消除历史噪声对优化轨迹的干扰。

面向发现式优化的智能体团队设计启示

基于“遗忘”策略的有效性，未来的研究重点转向了多样性（Diversity）与智能体团队（Agent Teams）的设计。传统的单终端运行模式已难以满足高效探索的需求，业界开始思考如何设计能够并行运行的多个智能体实例。例如，与其让一个 Claude Code 终端运行，不如同时启动八个不同的优化进程。

这种设计思路旨在通过并行化和多样性来对抗单一智能体的上下文漂移和停滞问题。虽然具体的团队架构设计仍在探索中，但核心理念已逐渐清晰：通过隔离和优化单个最佳状态（即“遗忘”历史），并结合并行探索，可以更有效地突破自动化研究中的性能瓶颈。这为构建更鲁棒、可扩展的自动发现系统提供了新的理论依据和实践方向。

长会话中的单一智能体困境：多样性与动力的双重流失

在探讨遗忘机制（Forgetting）为何有效时，Shangyin Tan 指出，即使是单一智能体在长会话中也会面临两大核心问题：多样性丧失与动力衰减。随着会话时间的延长，智能体会变得固执于特定方向。例如，如果编码智能体在实现算法 A 时获得了良好的信号（Good Signal），它会倾向于不断微调该算法以追求更好结果，这类似于人类训练模型时锁定架构并调整超参数的行为。这种对局部最优解的执着导致探索方向的单一化。此外，长会话还会削弱智能体的内在动力。虽然通过并行采样多个相同轨迹可以增加多样性（如堆叠 8 个或 10,000 个智能体），但在自动研究任务中，由于没有智能体能一次性解决复杂问题（One-shot this problem），所有智能体都必须经历“尝试-修改”的迭代过程。这意味着长上下文是优化过程中不可或缺的组成部分，因此即使是最简单的并行扩展策略，也必须引入遗忘机制来打破这种僵局。

团队智能体的协作模式：开放代码库而非直接通信

在讨论如何设计多智能体团队时，Tan 分享了一种非传统的实现方式。不同于常见的角色分工（如规划者、实施者）或点对点直接通信，他们的团队采用了一种“开放工作区”的策略：所有智能体都可以查看彼此的代码，但彼此之间不进行直接的文字交流。Tan 解释称，直接通信不仅消耗大量 Token，往往还浪费智能体的时间。在追求同一目标（如让内核运行更快）的任务中，表现较弱的智能体通过观察强者的代码并尝试将其理念融入自己的基线，比直接对话更有效。这种模式源于一次意外：在早期实验中，由于沙箱隔离不严格，智能体无意间看到了彼此的代码并取得了高分。Tan 指出：> “直接通信实际上非常昂贵，而且很多时候是在浪费智能体的 Token。”

防止同质化的关键技巧：仅允许读取提交记录

尽管开放代码库策略效果显著，但它带来了一个明显的副作用：智能体倾向于直接复制彼此的代码，导致团队行为趋同于简单的并行采样，从而丧失多样性。为了解决这个问题，Tan 介绍了一个简单却有效的“小把戏”：限制智能体只能读取其他智能体的 Git 提交记录（Commits），而不能直接阅读代码内容。这一机制迫使智能体在理解他人思路时需要进行更多的推理和转化，而不是简单的复制粘贴。Tan 强调：> “我们实现了一个小技巧……你只允许他们阅读其他智能体的提交记录。”这种设计在保持协作优势的同时，有效地维持了团队内部的多样性，防止所有智能体最终收敛到相同的代码基线上。

基于Diff的多智能体通信机制

在探讨多智能体协作时，一种创新的沟通方式被提出：代理（Agents）无法直接查看完整的文件内容，而是只能看到其他代理产生的代码差异（Diff）。这种机制的核心在于，多智能体间的通信本质上是思想或算法的交换。当较弱的代理接收到这些Diff时，它不会简单地复制整个代码块，而是尝试将这些差异整合到自己的代码库中。这种基于Diff的沟通方式被认为比阅读完整文件更为高效和精准。

"I think the way that it works is that the agents are not able to see the direct to see the full file. It can only see the diff of the other agents... a lot of times uh a diff of the agents in this setting actually corresponds to an to like an idea or an algorithm."

这种"Git for multi-agent communication"（面向多智能体通信的Git）的理念极具潜力。在软件开发领域，Diff被视为查看代码变更的最佳方式之一。相比于传统的通过Markdown文件由编排器（Orchestrator）检查进度，或者使用共享的协作草稿箱（Scratchpad），基于Diff的方法提供了一种更结构化、更具语义信息的交互模式。尽管目前研究社区仍处于早期阶段，尚未确定哪种方法适用于所有问题场景，但这种特定于问题的通信模式选择为未来的研究开辟了广阔空间。

GEPA算法与帕累托前沿的多样性价值

GEPA（Generative Evolutionary Prompt Algorithm）算法的核心创新在于引入了帕累托前沿池（Pareto Frontier Pool），其根本目的是增加搜索过程中的多样性。在传统的自动研究或提示词优化中，系统往往只保留得分最高的候选者，这导致种群多样性迅速丧失。例如，假设有10个待解决的问题，提示词A能解决前3个问题，而提示词B能解决中间3个。如果仅依据总分淘汰其中一个，就会丢失针对特定子问题的关键信息。

通过维护帕累托前沿池，GEPA确保了那些在不同问题上表现优异但总分可能不占优的提示词得以保留。这种机制不仅适用于当前的框架，还可以被移植到其他优化或遗忘（Forgetting）相关的研究工作中。虽然在这些其他场景中，由于对泛化能力的关注点不同，构建帕累托前沿的难度较大，但保持生成多样性是发现过程中的关键要素。通过并行采样等扩展手段，可以进一步丰富这种多样性的维持策略。

提示词优化与代码优化的范式差异及Harness路由

将GEPA的思路延伸至代码生成领域，特别是针对数据库系统等复杂应用的优化时，帕累托前沿的概念依然适用。然而，代码代理与提示词代理存在显著差异：代码需要处理多种不同的输入和工作负载。例如，在优化一个通用的编码代理Harness时，不能仅针对单一类型的数据库应用进行优化，而需要确保其通用性。

"If you have if you do have such use cases, yeah this would be great. Like if you just think of it um harness is also code right but needs to work on different kind of inputs."

这一逻辑可以进一步引申为"Harness路由"（Harness Routing）的概念。以信息检索任务为例，面对Bright Benchmark中复杂的长Stack Overflow帖子与Beer或Latte等简短查询，系统可能需要不同的Harness策略：前者需要复杂的子查询分解能力，后者则可能仅需简单的检索重排序。因此，维护一个针对不同输入类型优化的Harness帕累托前沿池，并根据新输入的复杂度动态路由到最合适的Harness上，是提升系统整体性能的有效方向。尽管目前针对编码代理的实验尚不充分，但这被视为一个极具潜力的研究路径。

拒绝过度拟合：生产环境中的路由策略

在 Databricks 实习期间的经历让 Shangyin Tan 意识到，传统观点中人们对“过度拟合”的恐惧在特定场景下是多余的。他提出了一种类似提示路由（Prompt Routing）或代码加载策略的方法，即先观察数据分布，再决定调用特定的处理逻辑。Tan 认为，不应害怕过度拟合，因为当系统针对整个生产环境的数据分布进行优化时，这实际上是对整体分布的适配而非过拟合。这种多提示或多处理器的架构在 Java 环境中也得到了验证，效果良好。

Tan 指出这一方向目前被严重低估（under hyped），行业内讨论较少。这呼应了深度学习领域的一个经典理念：不需要泛化能力，只需让训练集覆盖所有情况。这种“ bitter lesson ”的核心在于优化过程应能产生多种解决方案，而非单一通用解。对于提示工程和 Harness（执行框架）而言，这种多路复用非常直观；但在数据库系统中，由于操作开销（operational overhead）的存在，实现起来较为复杂。

数据库优化的帕累托前沿与内核类比

在讨论如何定义好的评估指标时，Tan 提到一个典型场景：如果有 10 种不同任务且对数据库性能贡献均等，它们在不同代码或输入下可能表现出截然不同的行为。他回忆起 Shu 提到的案例：不同输入需要不同的代码路径，这与内核优化（kernel optimization）中的策略相似。在内核优化中，开发者常为不同大小的输入生成专用代码。

Tan 设想将帕累托前沿（Pareto frontier）思想应用于此：针对不同输入规模保持一组帕累托最优候选方案，每个方案计算独立分数。虽然尚未实践，但他认为这是一个极具潜力的研究方向。这种思路允许系统根据输入特征动态选择最优执行路径，从而在复杂工作负载下实现性能最大化。尽管内核优化领域经验丰富者较少介入数据库讨论，但这种跨领域的启发式方法为解决评估指标定义难题提供了新视角。

即时编译数据库的温和演进路径

关于“即时编译数据库（Just-in-Time Databases）”的愿景，Tan 持谨慎态度。他更倾向于一种分离存储架构下的分支数据库（branching database）模式：首先将数据和负载摄入通用系统，随后根据需求将其迁移至专用系统中。他反对完全在运行时从零生成数据库引擎的激进做法，认为那令人恐惧且不可控。

Tan 重新定义了“即时”的含义：它不应是临时的代码生成，而应类似于离策略（off-policy）学习。系统观察输入趋势或模式后，在后台启动新引擎的生成过程；前台仍使用旧引擎。当自动研究代理（auto research agent）预测新引擎更成熟且性能曲线更好时，再进行无缝切换。这种渐进式演进避免了“无代码、仅规范”的极端场景。

“你可以将其视为特定工作负载的新分支，为该客户部署后，在后台通过 PR（Pull Request）解决。”

Tan 认为这取决于编码代理的能力。他回顾了三年前 GPT-3.5/4 时期，当时仅凭注释生成函数的项目被视为笑话；但随着技术进步，运行时动态生成代码段在未来可能成为现实。尽管目前尚无大规模落地案例，但这种介于静态编译与完全动态生成之间的光谱式演进，代表了数据库系统智能化的合理方向。

编译器信任与自动研究的验证困境

在讨论基础设施领域的自动化研究时，一个核心议题是如何建立对AI生成代码的信任。这种信任机制与开发者对待编译器的态度有相似之处，即盲目信任工具的输出结果。正如对话中提到的观点：“编译器也是一个将代码编译为低级语言的工具，人们往往只是信任这个工具”。当自动研究系统足够成熟时，开发者可能会像对待编译器一样，不再审视生成的代码细节，而是直接信任函数头所承诺的功能。这种从“理解输出”到“盲目信赖”的转变，是自动化编程走向主流的关键心理门槛。

然而，这种信任并非凭空产生，而是建立在大量的测试和先验知识之上。“很大程度上，信任来自于它运行了所有的测试”。在当前的自动研究实践中，这种基于测试的信任机制面临着巨大的挑战，尤其是在从学术研究向生产环境过渡的过程中。研究阶段与生产实践之间存在显著的差距：在研究中，评估指标通常定义清晰且易于运行；而在生产中，优化目标往往难以量化或模拟。

生产环境中的指标定义难题与“爬山”优化

自动研究在学术界往往能取得良好效果，因为研究者可以定义易于量化且评估成本极低（如10分钟内完成）的指标。但在实际生产环境中，情况截然不同。“在生产中，人们往往希望优化整个流水线”，但这里的评估要么极其困难（如耗时极长或成本高昂），要么根本不存在明确的数值指标。很多时候，唯一的“指标”是高级工程师的主观审批。

这种主观性使得自动化优化变得几乎不可能，因为无法模拟人类的判断。“这个指标几乎是根本无法进行模拟的”。为了突破这一瓶颈，行业需要更多致力于如何定义可计算指标的研究工作。当前的LLM和编码智能体在“爬山”（hill climbing）式的局部优化上表现出色，这意味着如果能够将生产中的模糊需求转化为具体的、可优化的指标，编码智能体的生产力将得到极大提升。通过自然语言反馈来定义和迭代这些指标，是解决这一问题的潜在方向。

高昂评估成本与人类意见瓶颈的双重挑战

在实际应用中，阻碍自动研究落地的因素主要分为两类：一是评估成本过高，二是人类意见难以量化。对于第一类情况，运行一次完整的评估可能需要花费一天时间或高达十万甚至百万美元的成本。“这真的会让你望而却步”。例如，在训练大型模型或进行其他高算力消耗的操作时，让编码智能体频繁尝试并部署到大量GPU上是不现实的。“这会让你烧掉大量的钱”。

对于第二类情况，瓶颈不在于金钱或时间，而在于人类的主观意见。虽然有一些研究（如Persimmon项目）试图通过引入自然语言反馈来解决人类评价的问题，但“测试这个功能可能需要花费一百万美元”的高昂成本依然是横亘在自动研究面前的一座大山。这种高成本的评估限制使得智能体无法进行大规模的迭代探索，从而限制了其在复杂生产环境中的应用深度。

遗忘机制：上下文管理与智能体的自我修正

关于“遗忘”在AI中的作用，这不仅仅是一个记忆管理问题，更深层地涉及上下文管理的策略。通过具体的实验案例可以发现，模型在处理长上下文时会出现性能波动。例如，在使用DeepSeek v4.1 flash优化算法问题时，当上下文窗口达到30万到40万个token时，模型会声称：“我已经达到了这个问题的实际极限”。

然而，实验数据显示这种“极限”并非不可突破。当研究人员在预算未耗尽的情况下继续要求模型优化时，“它开始说：好吧，是的……也许我会试着去做”。随后模型提出的新想法实际上将分数提高了几个百分点。但有趣的是，一旦这个新思路生效，模型又会回到之前的状态，再次声称“我达到了极限”。

这一现象揭示了当前模型在长上下文中的局限性：如果已经找到了更好的解决方案，那就说明之前所说的“极限”是错误的。这种反复出现的自我否定表明，显式地让模型遗忘旧的、错误的约束或思维定势，可能是优化神经网络和智能体表现的重要元策略。“遗忘在智力中扮演的角色”值得深入探索，它可能是一种通过清理无效上下文来提升推理能力的关键机制。

长上下文导致模型动机衰退与探索停滞

在长时间的优化会话中，随着上下文的不断累积，大语言模型会表现出明显的动机衰退趋势。这种“放弃”的倾向并非偶然，而是长上下文带来的负面效应之一。当模型接收到大量关于“已达限制”或历史失败的信息时，它会逐渐失去继续尝试新方向的积极性。相反，如果移除这些负面反馈消息，模型则更有可能转向其他策略进行尝试。长上下文中的遗忘机制（Forgetting）正是为了解决这一动机丧失问题而设计的，它通过清理冗余且带有负面暗示的历史记录，帮助模型重新获得探索的动力。这种动机上的变化直接影响了模型的输出行为，使其从初期的激进转向后期的保守。

思考令牌减少与代码修改量的急剧萎缩

从量化角度来看，随着优化会话轮次的增加，模型在每个回合中使用的思考令牌（thinking tokens）数量显著下降。与此同时，模型每次尝试编辑的代码行数也呈现出极快的缩减趋势。具体而言，在优化初期，模型可能试图一次性编辑多达 100 行代码；然而，经过大约 30 到 40 轮迭代后，模型尝试编辑的行数往往缩减至仅 5 到 6 行。这种数量的急剧减少表明模型不再具备处理大规模重构的能力或意愿，而是陷入了局部优化的泥潭。这种行为的转变是模型在长上下文中信息过载和认知负荷增加的直接体现，导致其无法再维持初期的广泛探索能力。

陷入数值微调陷阱而非算法创新

更为令人震惊的发现是，当模型仅修改少量代码时，这些改动往往局限于数字层面的微调（如超参数调整），而非实质性的算法改进。对于算法任务而言，最大的性能提升通常来源于不同的算法架构或核心逻辑的轻微修改，而非对现有参数的细微波动。虽然调整数值可能带来几个百分点的性能提升，但无法实现突破性的增长。模型在初期表现得非常激进，而在后期则变得极其保守，这种策略上的转变导致优化效率大幅降低。此外，由于初期存在大量的性能提升空间（headroom），任何尝试都能带来显著分数增长；但随着潜力耗尽，后期的试验大多以失败告终。模型甚至开始表现出对实现新想法的恐惧，声称“这很危险”，这种非理性的风险评估进一步阻碍了优化进程。

遗忘机制的效果与上下文压缩的局限性

在实施“遗忘”操作后，模型的表现曲线会出现明显的反弹。实证数据显示，优化曲线的平坦化在遗忘发生后迅速被打破，性能再次快速攀升。这证明了定期清除历史上下文是维持模型探索活力的有效手段。针对是否可以使用“上下文压缩”或“总结”来替代遗忘的问题，研究者指出这并非最佳方案。因为即使经过压缩，模型仍会保留大量的历史轨迹信息。当上下文中存在大量相似的历史代码或想法时，模型倾向于遵循旧有的路径依赖（ideal idea basing），难以跳出当前的思维定式。相比之下，仅保留最佳候选方案之所以有效，是因为该最优解往往融合了多个迭代轮次中的精华信息（如第11轮的创意结合第23轮的结构），它本身已经包含了足够的有用信息，无需保留所有中间失败的尝试。因此，激进地移除非最优的历史上下文并不会导致关键信息的丢失，反而能打破模型的探索僵局。

条件概率下的候选者生成逻辑

在自动科研（Auto Research）的框架中，最佳候选者的选择本质上是一个条件概率问题。Shangyin Tan 指出，每一个新的候选方案并非孤立存在，而是基于所有先前历史信息的条件化结果。这意味着系统不是在单一维度上随机尝试，而是在一个不断累积的语境中进行推理。这种机制类似于进化论中的遗传积累，但更强调逻辑上的因果链条。每一个步骤都依赖于前序所有决策的总和，从而确保生成的方案具有连贯性和演进性。

"The best candidate is actually conditioned on all the previous stuff, right? So, you don't it's not a single candidate."

这种设计使得系统能够捕捉到细微的改进路径，而不是在广阔的搜索空间中盲目跳跃。通过将历史状态显式地纳入条件判断中，模型能够更精准地定位潜在的高价值区域。这种基于历史的 conditioning 机制是理解自动科研进化树的关键起点，它为后续的多智能体协作和多样性探索奠定了理论基础。

多智能体团队与“遗忘”机制的协同效应

在引入多个并行子代理（sub-agents）形成团队时，系统呈现出类似进化树的分叉结构。Shangyin Tan 分享了一个关键观察：当两个不同代理产生的想法 A 和 C（其中产生 C 的代理得分更高）被组合时，往往能激发出比 A+B 更优的新方案。这种跨代理的知识重组显著提升了搜索效率。团队机制加速了“爬山”过程（hill climb），而遗忘机制则防止系统陷入局部最优的 plateau。

"Teams makes you hill climb faster and then forgets makes you to like not plateau. So, if you have something that climbs faster and do not plateau, then you have like a perfect uh auto research hardness."

实证数据显示，团队设置下的遗忘策略表现优异。这是因为高得分代理的思路（如 C）被低分代理吸收并融合，产生了新的组合优势。遗忘在这里并非简单的删除，而是一种策略性的重置，它清除了阻碍进一步探索的冗余历史包袱，使系统能够以更高的频率迭代出更高质量的候选者。这种协同作用构成了自动科研中高效的搜索硬度（research hardness）。

思想形成与执行的解耦及向量空间潜力

当前框架的一个局限在于未将“思想的形成”与“思想执行”完全解耦。Shangyin Tan 指出，目前代码代理（coding agent）既负责生成抽象概念又负责实施，导致框架层面的元控制（meta control）难以介入。如果能在框架层识别出代理形成的抽象思想（如“想法 ABC”），就可以利用向量嵌入等技术对离群簇中的点进行条件化引导，从而激发更具创造性的抽象思维。

"We have not separated the idea of you know, forming an idea versus executing that idea."

这种解耦对于提示词优化（prompt optimization）同样适用。即使代理未能立即通过代码验证想法，其思维链中的抽象意图仍可作为独立实体被保留和利用。Shangyin Tan 认为，每一次行动背后的思维链即是一个“思想”。未来方向在于建立更好的抽象表示方法，使系统能够直接操作这些中间概念，而非仅关注最终代码或提示词的执行结果。这将极大扩展 LLM 在复杂推理任务中的潜力。

AI 工程化：释放前沿模型的潜能

Shangyin Tan 认为，当前最令其兴奋的方向是如何最大化利用现有前沿模型的能力。他坚信一个核心事实：当前的大语言模型已经极其聪明，但人类尚未发挥其最大潜能。因此，未来的 AI 发展重点将从模型架构的创新转向围绕模型的系统工程构建。

"The direction that excites me the most is definitely uh based on one fact set that I truly believe, which is the frontier models are incredibly smart right now. And people are not using them to the to the maximum cap- capability of those models."

这种观点将 AI 进步的重心从“制造更聪明的模型”转向“设计更好的系统来驾驭现有智能”。正如遗忘机制所示，如果模型本身能力不足，任何工程优化都无效；但当模型足够智能时，糟糕的系统设计（如记忆过载导致的停滞）反而会成为瓶颈。因此，通过工程手段优化模型的调用方式、状态管理和搜索策略，是释放“被误管的天才”（mismanaged genius）的关键路径。这标志着 AI 研究进入了一个以系统工程设计为主导的新阶段。

对话收尾与核心观点总结

随着访谈进入尾声，主持人 Shangyin Tan 对嘉宾 Sheng En 的观点给予了高度评价。Shangyin 特别指出，关于构建更强大的自动研究能力（auto research hardness）的讨论是一个极具分量的结论，甚至可以用“掷地有声”来形容。这一观点不仅总结了双方在技术深度上的探讨成果，也为整个 episode 画上了一个有力的句号。Shangyin Tan 对 Sheng En 的参与表示诚挚感谢，认为这次深入交流非常有价值。

"Yeah, I think that's the mic drop. That's an awesome point to end the episode on."

Shangyin Tan 强调，能够与 Sheng En 深入探讨这些复杂话题是一种荣幸。这种深度的对话不仅揭示了技术背后的逻辑，也展示了行业前沿的思考方向。Sheng En 同样对主持人的邀请表示感谢，双方以友好的互动结束了这次内容丰富的对话。

嘉宾致谢与节目结语

在节目的最后环节，Sheng En 再次向 Shangyin Tan 及 Weaviate Podcast 团队表达了谢意。他提到，感谢对方的邀请和深入交流的机会。这种相互尊重的对话氛围贯穿了整个访谈过程。Sheng En 的回应简洁而真诚，体现了他对技术社区交流的重视。

"Yeah, thank you. Thank you so much."

随着对话结束，背景音乐响起，标志着本期 Weaviate Podcast #149 正式落幕。整个片段虽然简短，但通过核心观点的提炼和双方互动的呈现，强化了节目内容的专业性和深度。Shangyin Tan 对“自动研究能力”这一概念的强调，暗示了未来技术发展中自动化与智能化结合的重要性。

结论

本文论证了“遗忘”是突破自动化研究性能瓶颈的核心机制。实验表明，单智能体在长会话中因上下文累积导致动机衰退、探索停滞及陷入数值微调陷阱；通过丢弃历史仅保留最佳候选，可打破僵局并恢复性能攀升。多智能体团队结合“遗忘”与基于Diff的协作，能加速搜索并维持多样性。然而，该框架受限于高昂评估成本及生产环境中主观指标难以量化的短板。未来方向在于解耦思想形成与执行，利用向量空间引导抽象思维，通过系统工程最大化现有前沿模型的潜能。