OpenAI权力更迭中的“方向性糟糕”短信
视频开场聚焦于一段在科技圈引发震动的短信记录，这段对话发生在 Sam Altman 被 OpenAI 董事会解雇 的关键时刻。短信双方是 Sam Altman 和 Miraj Maratti，时间点是 Sam 被赶出会议室后的短短几小时内。当时，Satya Nadella 也同时向双方发送消息询问情况，显示出事件的高敏感度和外部压力。Sam 在短信中表现出极度的焦虑与无奈，他试图理解局势，并询问对方是否能指示方向是“好”还是“坏”。
“Can you indicate directionally good or bad? Satia and others anxious. Directionally very bad.”
这段对话之所以被广泛传播，是因为它极其真实地反映了 高层权力斗争中的脆弱性。Sam 坐在长椅上，独自面对董事会的决断，而 Miraj 回复的“方向性非常糟糕（Directionally very bad）”成为了一种极具象征意义的表达。这不仅是对当前局势的描述，更暗示了未来走向的不可控性。Sam 随后表示愿意离开以平息事态，甚至提到如果面临疯狂诉讼，他不确定如何应对。这种 在巨大压力下保持克制与优雅 的处理方式，尽管内心波澜壮阔，但对外展示出的是一种职业化的冷静。这段插曲为后续关于 AI 行业动荡和技术演进的讨论奠定了基调，即 在不确定性中寻找方向 是 AI 开发者和管理者面临的常态。
引入 Oracle 专家探讨 Agent 记忆
在简短回顾了 OpenAI 的动荡后，主持人引入了本期节目的重磅嘉宾 Richmond De，他是 Oracle 的开发者体验专家，被誉为 Agent 和记忆技术领域的专家。Richmond 此前曾制作过关于 Agent 记忆的深度视频，其技术深度和解释能力给主持人留下了深刻印象。本次对话旨在深入探讨 Agent Memory（智能体记忆） 这一核心技术议题。
Richmond 将在节目中分享他对 Anthropic 新推出的 Dream 功能 的看法，并详细阐述如何构建和优化 Agent 的记忆系统。这是一个技术性较强的话题，涉及如何让 AI 智能体从长期交互中学习和存储信息，从而提升其复杂任务处理能力。主持人强调，这将是一场 深度技术对话，鼓励观众在聊天区提问。Richmond 的加入标志着节目从行业八卦转向硬核技术解析，重点在于 如何通过技术手段解决 AI 智能体的上下文限制和长期记忆问题，这是当前 AI Agent 发展中的关键瓶颈之一。
技术对话的开启与硬件挑战
随着 Richmond 接入直播，现场遇到了一些技术小插曲，主要是 回声问题 和 屏幕共享设置 的挑战。Richmond 提到他刚刚更换了视频采集卡，导致音频设置需要重新调整。经过一番调试，包括 Richmond 戴上耳机以消除回声，以及主持人调整软件设置，最终解决了音频问题。
“Hardware is hard. AGI will not save us.”
这句调侃不仅缓解了技术故障带来的尴尬，也点出了 AI 基础设施和硬件兼容性 在实际开发和应用中依然是一个主要痛点。尽管人工智能在软件层面不断进步，但底层的 硬件交互和系统稳定性 仍然是开发者必须面对的现实问题。在解决了这些基础问题后，Richmond 准备分享他的屏幕，开始深入讲解 Agent 记忆的技术细节。这一部分虽然简短，但为后续的技术讨论营造了 真实且专业的氛围，强调了在实际工程落地中，工具链的熟练度和系统调试能力 同样重要。
Anthropic推出Dreaming功能：夜间记忆巩固与自我优化
Anthropic正式发布了Claude Managed Agents的“Dreaming”（做梦）功能，目前处于研究预览阶段。该功能的核心机制是通过回顾过去的会话记录来发现模式，从而帮助智能体实现自我改进。这一命名巧妙地借用了人类睡眠中记忆巩固的生物学概念，即大脑在休息时整理白天获取的信息，强化重要记忆并清除无关噪音。在技术层面，这实际上是对存储的记忆信号进行重新整合、解决冲突并提取关键模式，以便在后续交互中更快速地检索信息并学习用户习惯。这种机制不仅提升了用户体验，更在底层逻辑上优化了智能体的记忆效率。
“Dreaming extends memory by reviewing past sessions to find patterns and help agents self-improve it.”
这种将人类认知过程类比到AI记忆管理的做法，极大地降低了公众理解复杂技术概念的门槛。通过模拟人类“做梦”的过程，Anthropic旨在让智能体在用户不活跃的时段完成记忆的内化与优化，从而在用户再次使用时提供更精准、更个性化的服务。这种策略不仅提升了智能体的智能表现，也为解决长期存在的记忆碎片化问题提供了新的思路。
技术渊源：Sleep Time Compute与行业领先性
“Dreaming”并非凭空出现，其技术理念与学术界的前沿研究高度一致。Richmond指出，这一概念与大约一年前由MEGPT论文作者Sarah和Charles发布的论文《Sleep Time Compute》（睡眠时计算）非常相似。该论文探讨了利用非高峰时段进行计算资源分配以优化模型性能的思路。Richmond强调，MEGPT团队在智能体记忆领域领先行业约一年，其研究成果为当前的工程实践提供了坚实的理论基础。
“These guys are probably like a solid year ahead of the space... They released the time compute... So these guys are literally a year ahead.”
通过回顾这一学术背景，可以看出Anthropic正在将前沿学术研究迅速转化为实际产品功能。这种从理论到实践的转化速度，体现了Anthropic在智能体记忆技术上的深厚积累。MEGPT团队的研究表明，利用空闲计算资源进行记忆整理是提升智能体长期记忆能力的有效途径。Anthropic的Dreaming功能正是这一理念的工程化落地，通过夜间批处理会话数据，实现记忆结构的优化和冲突解决，从而在次日为用户提供更流畅的交互体验。
核心驱动力：降低运营成本与推理效率
从商业和技术运营的角度来看，Dreaming功能的核心价值在于降低运营成本并提高推理效率。Anthropic此前一直受限于计算资源，而通过Dreaming功能，智能体可以在非高峰时段（夜间）进行记忆整理和模式学习，从而在高峰时段以更少的Token消耗提供更高质量的回答。这种策略本质上是将部分计算需求从高峰时段转移到低谷时段，实现了计算资源的错峰利用。
“They offload some of that compute to non-peak hours during the middle of night and then all of a sudden when you go to use it during peak hours it is more effective with less tokens.”
对于AI开发者而言，降低推理侧的运营成本是行业发展的关键方向。Richmond指出，智能体记忆技术正是解决这一问题的关键。通过优化记忆结构，智能体能够更精准地理解用户需求，减少不必要的上下文填充和重复推理，从而显著降低Token消耗。这种效率提升不仅有助于Anthropic控制成本，也为整个AI行业提供了降低运营支出的可行路径。记忆优化带来的效率提升，使得智能体能够在有限的计算资源下提供更优质的服务。
行业对比：OpenAI的用户反馈机制与Hindsight的竞争
除了Anthropic，OpenAI也在本周更新了其记忆功能，引入了用户反馈机制。用户可以对作为回答来源的记忆片段进行点赞或点踩，从而直接参与记忆内容的优化。这种基于人类反馈的强化学习（RLHF）思路，旨在通过用户纠正来提升记忆单元的准确性。OpenAI的策略侧重于通过用户交互实时修正记忆，而Anthropic则侧重于通过后台批处理进行系统性优化。
“OpenAI actually did something on memory this week as well... users can actually upvote or downvote particular informations on memory... to improve memory itself.”
与此同时，Hindsight等初创公司也在智能体记忆领域积极布局。Hindsight由Vectorize构建，其CEO Chris近期与Richmond进行了交流，探讨了Oracle AI数据库在记忆存储方面的合作可能性。这表明，智能体记忆已成为AI栈中各个玩家必须解决的核心问题。无论是Anthropic的后台优化、OpenAI的前端反馈，还是Hindsight的底层存储技术，都在从不同维度解决记忆的效率、准确性和持久性问题。这一领域的竞争不仅关乎技术实现，更关乎如何构建可持续、低成本的智能体记忆基础设施。
记忆强化机制与斯坦福 Simulacra 研究
当前 AI 系统正在尝试通过强化学习机制来优化用户个性化体验。这种机制的核心在于让模型能够区分哪些记忆是“好”的并加以保留，哪些是“坏”的并予以摒弃，从而在交互中不断巩固有价值的信息。正如对话中所述：“这是一种对 GPT 或 LLM 本身的记忆强化机制，旨在提升用户体验和个性化程度。” 这种看似新颖的技术，实际上在三年前的一篇斯坦福论文中已有雏形。
该论文名为《Simulacra Generated》，由 Jun Park 等人发表，被多位专家视为AI 记忆实现的基础性工作。这篇论文不仅提出了记忆巩固的概念，还引入了遗忘机制，这些基础理论至今仍在指导着当前许多 AI 记忆系统的开发。尽管时间已过去三四年，但其核心逻辑依然具有极高的相关性，甚至被比作“Multibook 出现之前的里程碑式作品”，预示着当前 AI 代理（Agent）记忆领域的发展方向。
Simulacra 实验：千人模拟城镇的涌现行为
为了验证记忆和人格在复杂环境中的作用，研究团队在 2023 年 8 月 6 日（ChatGPT 爆火后不久）进行了一项开创性实验。他们构建了 1000 个 AI 代理，赋予每个代理独特的人格设定和记忆系统，并将它们投放到一个模拟城镇中，让它们模拟真实生活。这一实验展示了令人惊叹的涌现行为（Emergent Properties），即简单的个体规则在复杂系统中产生了类似人类的社交动态。
“他们形成关系，然后有一个例子，一个代理过生日，邀请朋友参加派对，朋友又问是否可以带另一个朋友，这是非常涌现的人类行为。”
这种社交网络的自发形成和人际关系的动态变化，在当时被视为极具震撼力的突破。虽然如今看来可能习以为常，但在当时，这证明了赋予 AI 记忆和人格后，它们能够产生复杂的社会互动。这一实验不仅验证了记忆在代理行为中的关键作用，也为后续更复杂的 AI 社交模拟奠定了实证基础，成为 AI 领域研究记忆机制的重要转折点。
人类反馈的短期必要性与长期自动化趋势
在 AI 代理记忆的实现路径上，人类反馈循环（Human-in-the-loop） 目前仍是主流，但其长期角色存在争议。短期内，前沿实验室（如 OpenAI）必须依赖人类反馈来重新训练模型，以更好地处理记忆问题，确保在服务于数亿用户时不出错。例如，OpenAI 曾因人格实现中的记忆错误（如“Sickopans”事件）而被迫回滚功能，这凸显了记忆准确性在大规模应用中的高风险性。
然而，从长远来看，专家预测人类反馈机制将迅速消失。原因在于，自动化的记忆系统在技术上已能实现良好性能，无需持续的人工干预。随着技术成熟，系统将能够自主判断记忆的优劣，实现完全自动化的记忆强化与遗忘。这一转变将大幅降低运营成本，并提高系统的可扩展性。目前，虽然 OpenAI 等巨头仍在依赖人工审核，但独立开发者也在通过纯技术手段解决记忆问题，显示出该领域正在趋向去人工化和自动化。
记忆领域的平权化与开源解决方案
尽管前沿实验室在资源上占据优势，但AI 代理记忆领域正呈现出平权化趋势。记忆概念本身易于理解，无论是普通用户还是开发者都能快速掌握，这降低了技术门槛。目前，独立开发者可以通过构建解决方案获得数百万融资并推向市场，与前沿实验室形成竞争。这种“水平竞争”意味着，即使没有巨头的支持，小型团队也能在记忆技术上取得突破。
“记忆尚未被完全解决。无论是前沿实验室还是独立开发者，都在试图解决这个问题，但尚未有定论。”
当前，记忆技术仍未完全成熟，这为创新者提供了巨大机会。前沿实验室虽然拥有海量数据和算力，但在个性化记忆的精准度和长期稳定性上仍面临挑战。与此同时，开源社区和独立开发者通过更灵活的技术栈，正在探索更高效、更透明的记忆解决方案。这种多方竞争不仅加速了技术迭代，也确保了 AI 记忆技术不会完全被少数巨头垄断，为行业带来了更多元化的发展路径。
外挂记忆 vs. 权重更新：当前AI架构的核心争议
关于当前大语言模型（LLM）架构的一个常见批评是，它们无法真正持有状态，所谓的“记忆”只是通过外挂日志实现的“学习”。这种观点认为，真正的智能需要记忆与计算在底层融合，而不仅仅是表面的补丁。然而，目前的Agent记忆解决方案大多并未触及模型的实际权重和参数，也没有改变LLM的内部状态，本质上是一种“外挂式”（bolt-on）的架构。对于这种架构是否足够，业界存在分歧。一方面，有观点认为通过构建围绕静态权重的Harness（工具链），仅利用上下文学习能力（in-context learning），就能实现数万亿美元的经济价值，无需改变模型内部状态。另一方面，批评者指出，如果模型权重只是汽车的引擎，那么没有记忆、工具等外围Harness，就无法将马力传递到路面，因此仅靠静态权重可能永远不够。
“Dario在播客中表示，仅凭LLM的上下文学习能力，我们就能获得数万亿美元的经济价值。他的观点是我们不需要持续学习范式就能实现这些收益。”
这种争论反映了当前AI发展的关键路径选择：是继续优化外围工程以榨取现有模型潜力，还是深入到底层算法，解决持续学习（Continual Learning）这一计算机科学中的古老难题。持续学习旨在让神经网络能够实时改变内部状态，以代表新信息，这对于构建真正具有长期记忆和适应能力的Agent至关重要。
Oracle的实验前沿：Agent记忆与持续学习的探索
作为处于技术前沿的企业，Oracle正在日常实验中深入探索Agent记忆的实现。最近，Oracle发布了一个Python包，旨在帮助开发者在大多数Agent中实现记忆功能。这表明，尽管存在关于底层权重的争论，但工程化落地仍然是当前获取价值的主要手段。与此同时，Oracle也在利用其基础设施上的算力和模型，积极探索持续学习的可能性。这种双轨并行的策略反映了行业现状：一方面通过工具链快速变现，另一方面为未来的架构突破储备技术。
为了厘清持续学习的实际效果，演讲者计划在下周于旧金山湾区与开发者进行闭门交流，专门讨论持续学习中哪些方法有效、哪些无效，以及开发者在这一领域的真实视角。这种实地调研旨在通过“在竞技场中”（in the arena）的实战经验，而非单纯的理论推测，来验证哪种路径更能推动AI向AGI迈进。这种对实时反馈和一线数据的重视，是解决架构争议的关键。
“我不确定，唯一能确定的方法就是身处竞技场，Matt。所以我正在学习、教学并在实时中进行实验。”
实时LoRA与特征存储：技术演进的回顾与展望
在探讨如何改变模型内部状态时，实时LoRA（Low-Rank Adaptation）技术成为一个值得关注的方向。LoRA可以通过降低延迟，实现对生产环境中LLM的微调。这让人联想到传统机器学习中的特征存储（Feature Stores）概念。在过去，特征存储作为中间数据层，允许高信号信息用于微调生产中的模型。然而，由于LLM参数量巨大，实时微调变得极其困难。LoRA技术的出现，使得在保留部分模型权重的同时，快速适应新数据成为可能。
虽然目前LLM的规模使得传统的实时微调范式难以直接复制，但LoRA提供了一种折中方案。Oracle正在实验这一方向，并计划在几个月内通过LinkedIn或Twitter分享相关进展。这表明，混合架构——结合外挂记忆的高效性与局部权重更新的适应性——可能是通往更高级智能的过渡路径。尽管演讲者尚未完全确定最终形态，但通过不断的实验和与开发者的互动，行业正在逐步逼近那个能够真正“改变内部状态”的实时系统。
“传统机器学习中有特征存储的概念，用于微调生产中的模型。LLM规模太大无法实时微调，但LoRA可以减少延迟，实现生产环境中的微调。”
AI 应用成熟度：从聊天机器人到自动化工作流
在回顾过去三年半的 AI 应用发展时，我们清晰地看到了技术重心的转移。最初，LLM 聊天机器人（如 ChatGPT）作为“世界压缩器”登场，用户通过对话界面提问，获得即时反馈。然而，这种模式仅能提供浅层的几分钟价值，若要获取真正的业务价值，必须引入领域特定数据。这促使行业迅速转向基于检索增强生成（RAG）的应用，即通过向 LLM 补充个性化数据或上下文信息，来提升回答质量。
“我们很快进入了基于 RAG 的应用世界，基本上是我给 LLM 一个提示，但我会用实际数据来补充它，以帮助它更好地回答问题。”
如今，我们已超越单纯的 RAG，进入自动化与自主性（Automation and Autonomy）阶段。自动化是指由 LLM 驱动的工作流，而自主性则是赋予 AI 工具并让其自由发挥。尽管许多人追求自主性，但大多数客户实际上更需要的是自动化，即通过 LLM 参与决策，实现任务的逐步自动化处理。
RAG 架构陷阱：反对多数据库反模式
在 RAG 架构中，核心流程包括数据摄取、嵌入模型转换以及向量/语义搜索。数据可以被转换为 JSON、知识图谱或向量表示，并存储在数据库中供后续检索。然而，实践中存在一个严重的反模式（Anti-pattern）：为每种数据表示形式建立多个独立的数据库。
这种多数据库架构极大地增加了开发者和代理的认知负荷。正如 Richmond 所指出的，开发者需要花费大量精力去管理复杂的系统组件和数据仓库。他建议采用单一数据库策略，就像人类只有一个大脑一样，AI 系统也应通过一个统一的数据库（如 Oracle AI Database）来提供所有检索策略。这种设计旨在降低复杂性，确保异构数据能够被高效检索并传递给代理。
Oracle Agent Memory：解决记忆难题的实战方案
为了解决代理记忆（Agent Memory）的实施难题，Oracle 发布了专门的 Python 包 Oracle Agent Memory，并提供了完整的 GitHub 仓库支持。该仓库不仅包含详细的 Notebook 供开发者深入理解，还集成了如“金融 AI 代理演示”等完整应用程序，让开发者可以直接获取可用的全栈应用。
“如果你是一个不想关心实现记忆所有细微差别的开发者，我们发布了这个 Oracle Agent Memory 包来解决它。”
这一工具包旨在让开发者无需深入底层细节即可构建具备记忆能力的 AI 应用。随着 AI 代理在接下来六个月内的发展，理解并应用这种记忆机制将成为关键。通过简化记忆层的实现，开发者可以更专注于构建高价值的自动化工作流，而非纠缠于底层数据管理的复杂性。
数据检索与知识图谱的整合策略
在构建AI代理（Agent）时，核心挑战在于如何让系统不仅被动响应查询，还能主动探索数据海洋。演讲者指出，数据源通常以集中式存储库的形式存在，但关键在于如何有效地提取和呈现信息。现有的技术路径主要包括三种方式：基于语义（Semantics）的含义检索、基于关系（Relational）的结构化连接，以及基于连接（Connections）的知识图谱技术。将这些技术整合在一个系统中，能够显著提升AI基础设施的一致性和效率，使开发者和代理能更清晰地推理数据逻辑。
"You can surface up information by semantics which is meaning. You can surface up information by relational relationships or you can surface up information by connections as well in one information to the other which is where you start to have knowledge graphs."
这种整合并非假设用户已经拥有完美的数据库结构。实际上，系统可以通过摄取管道（Ingestion Pipeline）从各种异构数据源自动提取数据。无论是使用连接器还是第三方提供商，最终目标是将这些数据放入如Oracle AI Database等支持多种检索机制的数据库中，从而实现智能化的信息 surfaced。这种架构允许系统在不预设数据完美结构的情况下，通过工程化手段实现数据的主动发现。
Agent的核心组件与循环机制
AI Agent的定义正在演进，其核心组件包括推理（Reasoning）、环境感知（Perceiving the Environment）、工具使用（Using Tools）以及记忆（Memory）。值得注意的是，早期的Agent定义往往忽略了记忆这一关键要素，但演讲者强调，记忆是Agent不可或缺的部分。Agent的工作流通常遵循一个Agent Loop（代理循环）：获取上下文 -> 推理上下文 -> 决定下一步行动 -> 观察结果 -> 决定后续行动（调用工具或退出循环）。通过多次迭代，Agent能够积累上下文并执行复杂任务。
然而，随着循环次数的增加，上下文窗口（Context Window）的大小成为瓶颈。当上下文窗口增长时，必须对窗口内的信息进行工程化处理，以优化信噪比（Signal-to-Noise Ratio）。如果信息处理不当，会导致上下文膨胀（Context Bloat）或上下文腐烂（Context Rot），严重影响Agent的性能。因此，如何在有限的窗口内保留高价值信息，是当前Agent架构设计中的核心工程难题。
上下文工程的关键技术
为了解决上下文窗口限制，上下文工程（Context Engineering）应运而生。演讲者提到了几种关键技术，首先是上下文窗口效用（Context Window Utility），即LLM需要感知自身的容量限制。例如，在使用Claude Code时，用户可以看到上下文窗口的剩余百分比，这有助于系统预测何时需要自动压缩。
其次是信息缩减（Reduction/Compaction）。大多数现代工具（如Claude）具备自动压缩（Auto-compaction）功能，它会将历史信息压缩并保留摘要，从而释放空间以继续对话。虽然实现这一功能在技术上并不复杂，但难点在于确保压缩后的摘要仍具有高信噪比（High Signal Representation）。此外，还有上下文卸载（Context Offloading）和上下文检索（Context Retrieval）等技术，旨在将不常用的信息移出主上下文，仅在需要时动态加载。
"There are some that have come from folks like ignition uh lang chain and a few folks have written a lot on context engineering and how to engineer um information within the context window."
持久化状态的缺失与自然智能的启示
观众指出，这些复杂的上下文工程 workaround 的根本原因在于当前模型无法持有持久状态（Persistent State）。虽然研究人员正在探索持续学习（Continual Learning），但目前这一技术尚未成熟。因此，上下文工程在当下具有极高的实用价值，尽管未来模型能力可能提升，但当前的优化空间依然巨大。
演讲者从更宏观的视角指出，人类并非智能的唯一架构师，自然（Nature）也是。自然经过数十亿年的演化才形成了人类智能，而AI领域存在的时间甚至不足一百年。我们在压缩的时间线内试图复现或超越自然智能，因此必须依赖如上下文工程等工程手段来弥补模型在记忆和状态保持上的先天不足。这种视角提醒开发者，当前的技术限制是阶段性的，但解决这些限制的工程实践对于构建可用的Agent系统至关重要。
"We need to look at things in terms of uh of timelines and perspective... Nature has had billions of years to create the ideal form of intelligence... us as humans, we're trying to do this in a compressed amount of time."
遗忘机制：从神经科学到计算实现的映射
在构建智能体（Agent）记忆系统时，“如何决定遗忘什么”是一个核心且富有创造性的挑战。人类大脑并非像硬盘那样存储所有信息，而是通过复杂的机制对日常经历进行筛选和提取。尽管神经科学仍在研究人类记忆的确切运作方式，但目前的共识是：人类实际上从未真正遗忘信息，大脑只是更擅长从海量存储中“浮现”出相关内容。这种生物特性为计算模型提供了重要的借鉴方向。
在计算层面，实现遗忘机制的关键在于为记忆单元附加多维度的权重指标。研究人员提出，可以通过计算近期性（Recency）、相关性（Relevance）和重要性（Importance）的加权值，来决定信息的保留或降级。这种机制允许系统主动降低低信号信息的重要性，从而减少检索噪声和跨系统漂移。正如讨论中提到的：
"Learning how to forget is where the creative part of agent memory comes in because there is not one way to forget... humans actually never forget information... the human brain just has a better way of surfacing it up."
这种基于权重的遗忘策略并非全新概念，Generative Agents 论文中已展示了类似的实现。即使是最简单的遗忘机制实现，也能在性能图表中展现出显著的效果，证明其在维持系统效率方面的有效性。通过量化这些指标，智能体能够模拟人类的选择性记忆，从而在有限的资源下优化信息处理流程。
硬件类比：LLM作为新操作系统的架构映射
为了更直观地理解智能体记忆系统的架构，讨论中引入了经典的计算机硬件类比。这一视角将大型语言模型（LLM）视为新的操作系统，而智能体的记忆模块则对应计算机的不同存储层级。这种类比不仅有助于技术理解，也揭示了系统设计的底层逻辑。
具体映射关系如下：
| 计算机硬件组件 | 智能体系统对应组件 | 功能描述 |
|---|---|---|
| CPU | LLM (大语言模型) | 核心推理与处理单元 |
| L1/L2 Cache | 短期记忆/上下文窗口 | 快速访问、临时存储当前任务相关信息 |
| RAM (内存) | 工作记忆/活跃上下文 | 维持当前对话或任务状态的动态存储 |
| Hard Drive (硬盘) | 长期记忆 (Long-term Memory) | 持久化存储历史数据、知识库和过往经验 |
正如参与者所指出的：
"LLMs are the new operating system... LLM is the CPU. There are short-term memory RAM, long-term memory, hard drive."
这一类比强调了基础设施的重要性。正如CPU需要高效的缓存和内存管理才能发挥性能，LLM也需要精心设计的记忆层来管理其上下文窗口。这种架构思维表明，未来的竞争焦点可能不再仅仅是模型本身的推理能力，而是围绕LLM构建的系统脚手架（Scaffolding），包括如何高效地管理不同层级的记忆存储与检索。
上下文窗口自主管理：从人工策展到自我优化
当前的智能体交互多为单维度的问答模式，但在软件开发、研究合成报告生成等长周期任务（Long-horizon tasks）中，这种模式显得力不从心。开发者需要智能体能够管理自身的上下文窗口，在多次迭代中保持上下文容量，同时不丢失准确性或增加延迟。这引出了一个关键问题：是否应由人类策展上下文，还是让模型自主管理？
讨论指出，目前许多实践仍属于“人类策展的上下文工程”，即人类通过点赞或点踩来指导模型哪些上下文是有效的。然而，未来的趋势是智能体能够优化和精炼自身的Harness（控制框架）。例如，Meta提出的Meta-Harness概念，以及Raymond Blackwood正在研究的自我修复Harness（Self-healing harness），都指向了同一个方向：智能体应具备自我调整和优化上下文管理的能力。
"I think there is a future where we would have an agent that that can actually refine its own harness right and optimize."
这一转变被视为2026年的重点发展方向。随着LLM推理能力的提升，行业重心正从模型本身转向围绕LLM的系统架构。OpenClaw和Manus等项目展示了围绕LLM构建强大Harness的重要性。智能体自主管理上下文窗口，不仅解决了长任务中的上下文丢失问题，还赋予了智能体适应新信息、保持可靠性和可信度的能力，使其从简单的问答工具进化为能够独立执行复杂任务的智能伙伴。
代理记忆的认知分类与计算实现
代理记忆（Agent Memory）可以被视作大型语言模型（LLM）之上的一个“外脑”（exocortex），其核心功能是让模型具备记忆与适应能力。在时间维度上，记忆可分为短期与长期：短期记忆通常指存在于上下文窗口（context window）内的信息，而长期记忆则涉及将数据存储在文件系统或数据库中。这种区分引发了关于“文件系统 vs 数据库”作为记忆底座的早期辩论，但无论底层架构如何，记忆的本质在于其持久性与可检索性。
“你可以从持续时间来思考代理记忆……上下文窗口中的内容可能是短期的，而当你将其放入文件系统或数据库中时，你就进入了长期记忆的领域。”
从认知功能的角度来看，代理记忆可以进一步细分为四种类型，这与人类记忆系统形成对应。程序性记忆（Procedural Memory）对应于技能，例如通过 .md 文件存储的标准操作程序（SOP），指导代理如何一步步执行特定任务；或者将工具存储在数据库中并通过检索机制按需调用，从而在不膨胀上下文窗口的前提下扩展代理的工具访问能力。情景记忆（Episodic Memory）则对应于对话交互，具有时间关联性，记录了代理与用户之间的来回互动过程。
神经科学与工程学的类比启示
演讲者频繁引用人类记忆概念，旨在通过非技术人员熟悉的自我认知来解释复杂的计算系统。这种跨学科的类比并非偶然，而是源于技术演进中向自然界的借鉴。例如，神经科学家 David Hubel 和 Torsten Wiesel 在 20 世纪 70 年代通过对猫视觉皮层的研究，揭示了神经元对视觉图像的层级反应机制，这一发现直接影响了卷积神经网络（CNN）的发展，进而成为移动设备中面部检测、姿态估计等系统的基础。
同样，在机械工程领域，早期飞行器的发明者模仿鸟类翅膀的拍打机制，尽管现代飞机已远超鸟类速度，但这种“仿生”灵感是技术突破的关键。演讲者指出，我们目前构建的智能系统某种程度上就像“长着羽毛的飞机”，虽然形式不同，但核心逻辑仍受自然启发。这种类比帮助理解为何记忆工程需要借鉴人类认知模型，将工作记忆、程序性记忆等概念转化为计算范式。
记忆工程的定义与实践
随着技术发展，单纯的上下文工程已不足以支撑复杂的代理系统，记忆工程（Memory Engineering）应运而生。这一概念由演讲者提出，并体现在其“100 天代理记忆”系列分享中。记忆工程的核心在于设计系统如何处理上下文窗口内外的信息，包括创造新信息、整合现有信息、遗忘无关内容或增强记忆本身。这与 Anthropic 和 OpenAI 等公司当前的研究方向一致，无论是通过“梦境”机制还是人类反馈，目标都是优化记忆的动态管理。
在代理框架（Agent Harness）中，记忆工程要求系统具备处理不同类型记忆表结构的能力，并将 RAG（检索增强生成）中的范式引入代理记忆领域。这意味着工程师不仅要关注提示词工程，更要关注记忆底层的架构设计，确保代理能够像人类一样，通过长期记忆积累知识，通过短期记忆处理即时任务，并通过程序性记忆执行标准化流程。这种系统化的记忆管理是构建真正智能代理的关键步骤。
工程化记忆的核心范式：从“堆砌”到“优化”
在构建AI代理（Agent）时，核心挑战并非重新发明轮子，而是如何更有效地利用现有机制。正如演讲者所言，我们并没有识别出某种全新事物并自行构建，而是试图将现有的模式应用到代理记忆中。这种思路被形象地比喻为“制造大鸟”或“制作羽毛板”，即通过应用相同的范式来优化代理记忆系统。为了验证这一观点，团队在Oracle AI开发者中心发布了相关代码和实验，旨在为开发者和客户构建生产就绪、高性能且可靠的代理系统。这不仅仅是理论探讨，而是通过Python包和数据库优化进行的实际实验，确保系统能够在真实场景中稳定运行。
“我们基本上只是在说，看，那是一只鸟，让我们造一只大鸟……如果我们把同样的范式应用到代理记忆中，我想这就足够了。”
基准测试：Token消耗与上下文稳定性对比
为了量化工程化记忆的效果，实验进行了100轮的来回交互测试，对比了两种代理模式： 1. 朴素代理（Naive Agent）：未进行任何记忆工程，仅简单地将每次交互追加到上下文中。 2. 工程化记忆代理（Engineered Memory Agent）：使用Oracle AI Agent Memory包，具备记忆整合、摘要等优化机制。
实验结果显示，朴素代理的Token消耗随迭代次数线性增长，而工程化代理的Token消耗则保持相对稳定。这意味着在理论上，工程化代理可以支持近乎无限的上下文迭代（如1000次迭代），而不会导致Token成本失控。这种稳定性对于长期运行的代理任务至关重要，因为它直接降低了运营成本。
| 代理类型 | 记忆策略 | 交互轮数 | Token消耗趋势 | 上下文处理能力 |
|---|---|---|---|---|
| 朴素代理 (Naive) | 无工程化，直接追加 | 100轮 | 持续上升 | 随轮数增加迅速耗尽 |
| 工程化代理 (Engineered) | Oracle AI Agent Memory | 100轮 | 相对稳定 | 保持高效，支持长期迭代 |
准确性验证：LLM作为裁判的评估结果
降低Token消耗的同时，是否会牺牲代理的记忆准确性？为了解答这个问题，实验引入了LLM作为裁判（LLM as a Judge）的机制。通过让另一个大语言模型对两种代理的回答进行评估，判断其在回答用户问题时的偏好和准确性。
评估结果表明，LLM更倾向于选择工程化记忆代理的回答，尽管在某些情况下存在平局，但整体趋势明确。这证明了在保持Token效率的同时，工程化记忆并未牺牲准确性，反而维持了代理的记忆能力。这一发现打破了“效率与准确性不可兼得”的常见误区，表明通过合理的记忆管理，可以在降低运营成本的同时提升代理的智能表现。
性能进阶：KV缓存（KV Cache）的影响分析
除了Token消耗，KV缓存（KV Cache）是影响推理延迟和成本的关键因素。前沿实验室（Frontier Labs）如OpenAI提供自动提示缓存功能，如果发送给推理提供者的提示结构保持不变，系统会存储已计算的注意力机制，从而节省延迟和成本。然而，不同的记忆实现方式对KV缓存的影响截然不同。
实验进一步对比了两种模式在KV缓存维持方面的表现： 1. 朴素端到端代理：由于每次交互只是简单追加信息，提示结构相对固定，因此能够维持KV缓存，从而在推理端实现低延迟。 2. 优化后的代理：虽然引入了记忆工程，但通过特定的上下文工程解决方案，团队也在探索如何平衡记忆优化与KV缓存的利用。
这一分析揭示了代理设计中更深层的技术权衡：虽然朴素方法在KV缓存利用上具有优势，但其Token成本高昂；而工程化方法虽然可能影响缓存命中率，但通过整体效率的提升，依然能在综合性能上占据优势。团队在Oracle AI开发者中心提供的笔记本中展示了这些细节，供技术人员深入实验。
“KV缓存是昨晚每个人都在谈论的话题……Cognition和Manis团队早期就提到了上下文工程解决方案。”
记忆工程与延迟的平衡艺术
随着AI应用开发的深入，开发者不再仅仅依赖前沿实验室提供的现成方案，而是开始构建自己的“野兽级”工具链（Beastful Harness）。在这一过程中，记忆工程（Memory Engineering）成为关键变量。虽然引入复杂的记忆技术通常会增加系统的延迟，但通过合理的实现方式，可以找到一种“幸福的中间地带”（Happy Medium）。在这种模式下，开发者既能利用记忆工程的优势，又能保持端到端延迟与单纯维护KV缓存时相当的水平。这种平衡对于控制运营成本至关重要，它标志着开发者从单纯调用API转向构建自主系统的转折点。
“这是一个幸福的中间地带，你正在使用我们讨论过的记忆工程实现，并且能够保持端到端延迟与维持KV缓存时相当。”
这种转变意味着每个人都在构建自己的知识库，正如Andre提到的那样，软件工程的门槛已降至历史最低。开发者可以通过简单的指令让代码助手重新实现博客中的概念，从而定制符合特定工作流的应用。这种低门槛使得个性化、定制化的AI代理记忆成为可能，而非被动接受通用模型的限制。
三种主要应用模式与定制化需求
在构建AI代理记忆系统时，必须认识到记忆的实现方式取决于具体的应用模式（Application Mode）。目前主要存在三种典型模式，每种模式对记忆的需求和处理逻辑截然不同：
- 深度研究（Deep Research）：此类应用需要深入特定主题，广泛抓取互联网上的不同信息源，最终向用户返回扩展的长篇报告。其核心在于信息的聚合与深度处理。
- 助手（Assistant）：这是一种双向对话式代理，侧重于即时交互和上下文理解，记忆主要用于维持对话的连贯性和个性化。
- 工作流（Workflow）：针对特定任务流程的自动化执行，记忆需支持步骤间的状态保持和逻辑衔接。
这种分类强调了没有通用的记忆解决方案。开发者需要根据自身的工作流选择或设计记忆架构。例如，深度研究可能需要更持久的外部知识库，而助手模式则更依赖短期的上下文记忆。这种差异化需求推动了“野兽级”工具链的发展，因为通用方案无法完美适配所有场景。
KV缓存预填充与CAG技术探讨
在观众提问环节，一个关于KV缓存预填充（Prefilling KV Cache）的问题引发了深入讨论。提问者Guy I5X指出，在会话开始时使用整合的记忆嵌入预填充KV缓存，是否能显著减少检索遗漏（Retrieval Misses），相比按需加载（On-demand loading）是否有优势。
对此，演讲者Richmond指出，这涉及到缓存增强生成（Cache Augmented Generation, CAG）的概念。CAG是一种去年发表的技术，主张预先计算KV缓存并将其直接放入上下文窗口，从而避免重复计算。然而，Richmond承认目前尚缺乏实证数据来验证这一假设在减少检索遗漏方面的具体效果。他提到，虽然理论上预填充可以避免重新计算，但实际部署中尚未看到广泛采用。这表明，尽管技术理论存在，但实际性能提升仍需通过实验验证，目前尚无定论。
“我不确定。我需要对此进行实验。我只是想获取CAG的论文，我认为这个人指的就是它。”
这一讨论揭示了当前AI工程中的一个灰色地带：许多优化技术（如CAG）在理论上是可行的，但在实际落地中，其相对于传统RAG或按需加载的性能优势尚未得到大规模验证。开发者需要谨慎评估这些新技术的实际收益，而非盲目追随。
2026年开发趋势与社区反馈
展望未来，Richmond认为2026年的开发者将全神贯注于构建自己的工具链。他强调，代理记忆（Agent Memory）为每个人提供了参与这一领域的入口。无论是通过创造性的技术实现，还是仅仅理解其运作原理，开发者都能从中获益。这种去中心化的开发趋势意味着，未来的AI应用将不再由少数巨头垄断，而是由无数个性化的“野兽级”工具链组成。
为了促进这一生态，Richmond呼吁社区积极参与。他提供了相关的材料，并鼓励开发者在系统中实施记忆包，然后提供反馈。这些反馈将被反映在Oracle数据或包本身的改进中。这种开放反馈循环是加速技术迭代的关键。此外，他还推荐了Andrew Ning的深度访谈视频，作为理解代理记忆的绝佳资源。
“每个人都在2026年埋头于工具链，我认为这很重要。代理记忆为你提供了进入这一领域的切入点。”
最终，Richmond强调了社区互动的重要性。通过LinkedIn和X平台，开发者可以直接与创作者交流，共同塑造AI代理记忆的未来。这种协作精神不仅推动了技术进步，也降低了学习曲线，使得更多开发者能够参与到这一变革中。
直播收尾与致谢
本次直播内容至此圆满结束。主播首先向观众表达了诚挚的感谢，感谢大家参与互动，并对大家提出的高质量问题给予了肯定。在结束正式环节前，主播再次感谢了邀请方以及所有支持该频道的观众，营造了良好的社区氛围。这种互动式的结尾不仅增强了观众粘性，也为后续内容的传播奠定了基础。
新语音功能测试计划
关于大家关心的GPT最新语音功能，主播坦言目前对该新功能的了解尚浅。由于缺乏实际使用经验，主播决定在直播结束后亲自进行测试和探索，以确保后续分享内容的准确性。这一态度体现了对技术细节的严谨追求，避免在未充分验证的情况下给出误导性建议。
"I meant to play around with the GPT voice, the new one. Um, I just don't know much about it yet, so I have to actually go test it."
后续直播预告与多渠道推广
主播预告了明天的直播计划，表示在充分测试完新语音功能后，可能会再次开启直播，届时将分享测试心得。同时，主播大力推广了相关平台ForwardFuture.ai，并呼吁观众关注其全平台账号。覆盖Twitter、YouTube、Instagram、TikTok和Twitch等主流社交媒体，旨在构建全方位的粉丝触达网络，确保内容传播的最大化。
"So, until then, uh, see y'all later. Go check out forwardfuture.ai. Follow us. Follow me. All the channels."