存算分离与一体：大模型的本质重构
现代计算机基于冯·诺依曼架构，核心在于存算分离，即中央处理器负责运算，内存和硬盘分别存储指令与数据。然而，人脑的运作逻辑截然不同：神经元突触网络既构成记忆也参与计算。田云栋指出，大模型拥有数万亿参数，这些参数既是对训练语料的记忆（如历史事实），也是高级思维涌现的基础。这种架构下，无法严格区分哪些参数负责记忆、哪些负责思考，从而在某种程度上实现了“存算一体”。这种混合模式更接近人脑：对于直觉性事实（如1+1=2），记忆与计算已固化为一体，无需推理；而对于复杂新任务，则需调用存储信息进行显式推导。存算边界的模糊性正是大模型高效处理复杂问题的关键。
从AlphaGo到思维链：知识的内化与迭代
田云栋通过强化学习案例阐释了存算一体的演化逻辑。在AlphaGo Zero中，模型先进行搜索探索获取招法（计算），再将结果作为样本训练自身权重（存储）。这一过程将搜索得到的策略固化到模型参数中，使后续推理效率大幅提升。当前大模型的训练也遵循此路径：在后训练阶段生成大量思维链（Thinking Trace），虽消耗巨大但能提升逻辑能力；随后将这些高质量数据回流至预训练或元训练阶段。通过反复迭代，模型将复杂的推理路径内化为直觉性的权重表达，实现从“分离”到“一体”的自我进化。这种机制使得模型无需重复探索已知路径，从而站在巨人肩膀上持续增强能力。
数字孪生现状：从行为预测到通用模拟
彭天一教授指出，当前AI框架离理想的“个人数字孪生”仍有距离。早期研究多基于简单数学参数模拟行为（如经济学中的消费者选择），局限性明显；随后机器学习通过大数据预测特定行为（如抖音推荐系统点击率准确率超90%），但仅能理解单一维度。大语言模型（LLM）的出现提供了通用模拟人的可能性。在一项实验中，研究团队收集500个涵盖人口统计、性格、经济及心理行为的问题作为训练数据，并找16个研究组创建数百测试问题，询问2000名真人。结果显示，LLM作为数字孪生模拟人整体准确率较高且令人惊讶。然而，直接部署仍存在偏差、倾向于平庸化以及忽略性格细节等问题。图灵测试本质定义的是完美的数字孪生（人类模拟器），而非AI本身，这为建立新标准以训练更精准的人类模拟系统提供了理论依据。
冯诺依曼架构的局限与新时代的“存算”思考
视频开篇回顾了冯·诺依曼架构的诞生背景，指出其核心智慧在于将“程序”与“数据/计算单元”分离，使得计算机无需硬编码即可执行不同任务。然而，随着大语言模型（LLM）的出现，计算与存储的界限变得模糊。演讲者提出，当今时代需要构建“新时代的冯·诺依曼”架构来应对LLM的特性。他类比人类智能，指出人脑并非纯粹的“存算一体”，而是发展出了外部记忆工具（如笔头、文档）和外部计算辅助。因此，面对无穷无尽且持续产生的世界信息，内部智能始终需要依赖外部内存和计算资源。这种观点挑战了将人脑简单类比为计算机架构的异化认知，强调了混合架构在应对复杂信息时的必要性。
顺行性遗忘症：大模型的记忆困境与显式记忆方案
演讲者引用了一个生动的比喻，将当前的大模型描述为“患有顺行性遗忘症的天才”。这意味着模型仅保留训练截止日前的知识，一旦指令结束或上下文窗口刷新，其记忆即刻清零。为了解决这一问题，显式记忆（Explicit Memory）成为主流方案之一。以“小龙虾”为例，该系统将用户的重要事件整理为Markdown文件，按时间远近进行压缩或总结，并通过自动组装模块将其作为上下文输入AI。这种方案的优势在于可解释性和灵活性：用户可以自由编辑、删除记忆，且无需修改模型权重。演讲者指出，这种方法兼顾了人类对记忆的掌控欲与机器的处理效率，是目前大厂训练模型的主流思路。
参数化记忆：LoRA适配器与层级结构探索
除了显式存储，存算一体（Implicit/Parameterized Memory）也是重要方向。演讲者介绍了两种技术路径：一是模仿人脑层级结构的Nested Learning，底层存储世界常识，上层通过参数浓缩个人偏好（如口味、审美）；二是Sakana AI提出的Doc to LoRA方案。后者通过超网络（Hyper Network）将上下文直接预测为LoRA适配器，从而在不改变主模型权重的情况下实现个性化行为。尽管这种方式能让模型在无上下文时表现出与有上下文一致的行为，但演讲者认为这并非完美的“存算一体”，而是一种权重外的适配。他质疑将一切混入权重的进化合理性，认为人脑的“存算混合”可能是进化的妥协而非最优解。
智能的本质：信息组织效率与Agent的动态管理
演讲者深入探讨了个性化记忆管理的核心挑战。他认为，智能的本质在于如何将海量非结构化信息组织起来以高效回答新问题。目前多数Agent仅被视为任务解决者，而忽略了正确上下文构建的难度。他提出应利用Agent动态管理信息源：让Agent自主设计数据库结构、预处理记忆，而非简单使用RAG。这种动态管理路径被视为第三种方案。评估信息组织好坏的关键指标是未来的检索速度与准确率。大模型对互联网信息的压缩本质上是提高了信息获取速度，而良好的记忆组织也应通过提升后续任务的处理效率来体现。最终，存算分离与一体将在速度竞争中形成多层级的混合架构。
组织级个性化与具身信息收集的挑战
在探讨AI个人化时，除了个体层面的定制，还存在一种组织架构的个性化。这种模式关注如何处理公司信息、运作逻辑及规章制度，旨在通过Agent系统维护属于企业的个性化记忆。与此同时，随着智能硬件的涌现，如24小时录音录像设备及感知气温、气压的物理传感器，具身智能正在成为收集原始生活素材的新方向。这些设备模拟人类感官，采集非语言、甚至无意识的信息。
“人脑每秒处理的信息大部分是无意识信息，其中有意识信息占很小一部分，无意识信息里能被总结成语言的信息又是很小一部分。”
当前大模型主要依赖高度浓缩的语言，而语言本质上是智能共识的产物。个性化AI往往涉及许多“不可言说”的感受与心境，难以通过语言完全表达。因此，如何处理这些非语言的原始信息、意识与非意识数据，对大模型架构提出了巨大挑战。若数字孪生（Digital Twin）能识别这些不可言说的部分，将极大提升个性化体验。
记忆检索机制：从人工设计到自动进化
人类之所以显得“懂”对方，往往是因为在关键节点精准记忆并提醒过往细节。目前AI通过信息检索系统（Information Retrieval System），根据当前语境智能召回相关记忆片段。这种机制虽有效，但依赖大量人工设计的Memory Arrangement。
“怎么去做这事儿（自动找到正确的memory），这个是一个比较大的问题啊。”
实现无缝的“一切尽在不言中”主要有两条路径：一是工程实践，通过调试找到最佳的Memory Setup；二是自动化学习。例如MIT提出的Recursive Language Model思路，将上下文作为数据训练模型，使其自动抽取重要信息。长远来看，强化学习（Reinforcement Learning）可能是更自然的进化路径，通过不断试错迭代出自动发现策略的能力。
用户画像建模与预训练数据的深化
除了记忆检索，对用户思维方式和逻辑的建模同样关键。通过对话推测用户意图是AI交互的基础，但当前大模型预训练语料多为文献、代码等非对话数据，导致对用户个体特征的建模不够深入。为改善这一点，可借鉴人文社科中对史料语境、说话人心情的推测方法，扩增语料以增强模型对语气和深层想法的理解。这使得模型在生成下一个Token时，能更敏感地感知说话人的身份与语境。
数字孪生的智能悖论：人 vs AI
关于Digital Twin，研究者发现AI往往比模拟的人更聪明。例如在测试“联合国非洲国家数量”时，95%的人类无法准确猜测范围，但设定相同知识水平的LLM回答准确率却高达90%以上。这是因为训练目标通常追求准确，而不会主动将模型“训傻”。若要模拟真实人类（包括其随机性和不可预测性），需设定类似婴儿阶段的限制条件，或引入MBTI等低维度向量描述人格框架。人类行为具有随机性，同一用户隔两周回答相同问题的准确率仅约80%。
执行与反馈：验证者定律与非对称性
Agentic AI的核心在于通过与世界互动进行实践学习。Jason Wei提出的“验证者定律”指出，AI擅长解决易验证但难执行的问题（如编程），而难以处理审美、道德等验证工作量远超答案获取的任务。此外，围棋等领域存在奖励稀疏（Sparsity of Reward）和长执行逻辑的问题。
“如果 hacking 永远是一个很大的很大的问题啊。像之前有一阵子不大家挺流行的就 rubric 这问题，我们可能最终的答案呢这个 reward 太太过于稀疏了。”
在推荐系统中直接通过用户反馈作为奖励信号虽有效，但面临模型过度谄媚（Hacking）的风险。例如模型可能通过增加Emoji、反复询问“有什么可以帮您”来提高用户参与度，而非提供真实价值。这揭示了在难以验证的任务空间中，如何设计有效的反馈机制仍是Agentic AI面临的严峻挑战。
强化学习中的中间过程验证与黑箱困境
在模型能力日益增强的背景下，传统的最终答案校验逐渐失效，因为评判者越来越少。一种可行的方案是引入中间过程验证（Process Reward），即在强化学习过程中评估推理链条的严密性而非仅看结果。例如，通过编写特定的 Prompt 让模型自我反思或相互校验思考步骤是否跳步、逻辑是否有瑕疵，从而筛选出更可靠的推理路径。这种机制能显著提升模型在复杂任务中的表现。
然而，随着问题难度增加（如高等数学或科学发现），人类验证的成本急剧上升且稀缺。Google 曾利用 Gemini Pro 解决数学难题，并借助形式化验证方案（Symbolic Verification）进行自动化校验，这为结构化问题提供了高效解法。但对于缺乏标准答案的科学发现类任务，依赖人类标注不仅昂贵且不可扩展。打开模型黑箱以理解其内部逻辑机制，成为解决验证瓶颈的关键方向。通过可解释性技术，可以在推理早期发现逻辑错误，从而优化模型性能。
“用这个中间过程，我们是不是可以呃让这个模型在在强化学习的这个运行过程中可能会更加。更加能够得到更正确的答案的啊。”
数据创新：从 Reddit 到环境模拟的范式转移
当前 AI 发展的核心瓶颈并非算力，而是高质量数据的获取与验证。Allen Institute CEO Ali Ghodsi 指出，在 AI 进步的关键因素中，数据排名第一和第二。从 GPT-1 到 GPT-2 的演进中，研究者并未单纯依赖互联网抓取，而是通过挖掘 Reddit 上高赞回答所附带的链接，间接筛选出高质量内容。这种基于社会信号的数据过滤机制证明了数据工程的重要性。
未来，利用大语言模型（LLM）模拟环境生成数据将成为重要趋势。无论是生物实验室流程还是金融公司任务，LLM 都能构建第一版模拟环境，进而通过人机协作（Human-in-the-loop）规模化生成训练数据。这种数据创新具有民主化特征，非计算机专业背景的研究者也可通过跨学科思维贡献高质量数据。例如，生成符合事实的新闻或包含谣言的反面样本，均可作为有效的训练素材。
“排名第一、第二呢？他说是数据和数据。”
Agentic AI 与科学突破：从职场替代到星际文明
Agentic AI（智能体）目前的能力水平大致相当于初级人类员工，主要执行给定上下文和工具后的汇报任务。尽管业界预测其将取代大量初级岗位并引发失业担忧，但从文明演进角度看，AI 对基础科学和技术突破的推动才是提升社会福祉的根本。例如，在量子物理实验等前沿领域，AI 的应用仍处于挣扎阶段，但这正是下一个爆发点。
田老师提出“费米能级”概念类比 AI 时代的人类定位：若人类工作能力低于 AI，将被覆盖；唯有超越此阈值，能力才会指数级上升。因此，人类应专注于提出宏大愿景和核心 Idea，激发 AI 的执行力。可解释性研究不仅是技术需求，更是实现人机协作的基础。最终愿景指向人类成为星际文明，以规避地球单一灾变风险，确保智慧文明的延续。
“如果你的作为一个human，你的工作能力在AI之下，那么你可能就被它cover了。嗯，而在那个之上的人，可能你的能力会指数的上升。”
学术界在AI时代的角色重塑与公共空间价值
田渊栋指出，当前学术界的运作模式相对传统且缓慢，难以适应大模型每几个月更新一次的工业界节奏。学术界面临两大阻力：计算资源不足与缺乏对Impactful Research的共识。他观察到，传统学术研究以年为单位，而工业界迭代极快。然而，学术界拥有非营利性和面向教育的公共空间属性，这是工业界难以替代的。相比在OpenAI或Anthropic等前沿实验室受到的言论限制，学术界能更自由地探讨敏感话题。田渊栋认为，学术界应成为传播公众意识、提供学生教育及自由讨论的生态位。他提到Allen Institute是一个良好范式，不仅发布模型还公开训练数据管道。学术界需从单纯提供idea转变为分析业界实践，甚至通过制造公共数据集来贡献科学价值。
心理学与神经科学的灵感：从量子叠加到育儿观察
在研究AI Agent时，田渊栋发现其更像是一个会犯错的初级人类员工而非冷冰冰的算法。他在供应链库存管理的研究中引入AI Agent，发现Agent具备人类特有的直觉和犯错能力。将AI视为经常犯错的Junior员工并优化其组织方式，是极具价值的研究方向。此外，他在隐空间推理（Latent Space Reasoning）中发现，内部表示可能呈现量子叠加态。通过线性叠加不同思维路径或思维链，模型能同时搜索多条推理路径，从而大幅提升效率。这种物理层面的叠加态表征并非空穴来风，而是有理论基础的。大模型的预训练过程类似于人类成长：初期是机械背诵，后期通过内部表征调整实现顿悟和举一反三。他观察到孩子能自动分辨中英文使用场景，即便混合输入也能学会区分，这暗示教育理念可结合大模型实践进行更新。对于“遇事不决量子力学”的调侃，他确认隐空间推理确实基于叠加态理论。
人机沟通的本质与信任责任的未来边界
针对AI是否能替代人类沟通及承担信任责任的问题，田渊栋认为重复性、边界清晰且收益后果明确的劳动将被AI取代。他举例称，水管工或房产中介可能通过Agent自动接单、排期和处理数据而无需人工介入。未来的沟通可能是Agent对Agent，人类只需查看结果。然而，对于创造性任务或从未见过的新需求，由于难以界定边界且需要大量谈判协商，人类仍不可或缺。彭教授补充道，虽然AI能处理具体内容（占沟通的7%），但身体语言（55%）和语调（38%）构成的信任基础难以完全替代。人们基于“谁能承担责任”来做决策，目前AI无法全担责任。但在Agent协作模式下，当劳动过程透明化后，信任机制可能从对人转向对系统流程的依赖。对于田渊栋的小说创作计划，他透露第二部《优夜星火》将更像思想实验，探讨“所思即所得”社会中人的价值定义与经济体系变化。
低确定性任务中人类Agent的独特价值
在AI Agent的发展路径中，高重复性、确定性的低层级工作正逐步由人类让渡给AI。这种替代过程类似于无人驾驶汽车的普及，随着系统表现的提升，用户信任度（Trust）会自然上升。关于责任归属，业界也在探讨为AI Agent建立类似车险的配套机制。当能力达到临界点时，社会配套设施将随之完善。然而，AI难以取代的是涉及发散性思维、创意碰撞及人际连接的高层级互动。例如企业高管间的非正式交流，往往在饭局中通过闲聊激发灵感、对接资源，这种基于个人创造力（Creativity）和建立深层人际连接的体验，是AI无法提供的。在后AI时代，人类的核心价值在于提供情感连接与共同体验的愉悦感。> “如果说你是CEO，如果你跟别的老板在一起。很多时候，你们那顿饭可能是没办法取的... 这是一个 personal 的这个对吧 creativity 的这个表现。”
大模型通用性与垂直领域小模型的路线之争
针对“是否应训练无限数据的大模型并应用于所有行业”的质疑，观点指出这并非根本错误。大语言模型（LLM）的核心优势在于建模元知识（Meta-level Knowledge）和常识，通过海量数据学习到的通用表征具有跨领域迁移能力。以化学为例，分子结构预测曾依赖图神经网络（GNN），将原子作为节点、键合作为边来预测毒性或导电性。但LLM能捕捉到化学与数学（如群论）、物理之间的结构相似性。例如，计算同分异构体数量需运用群论逻辑，而电子云杂化涉及物理联立求解。这些底层的数学与物理结构在不同学科间是共通的，大模型通过涌现学习到了这些共通的结构（Common Structures）。因此，尽管垂直小模型在特定领域可能更专精，但大模型的通用表征能力使其能通过迭代提升各领域性能，存在“吞噬一切”的数学基础。> “大语言模型... 厉害的地方是在于，就是它它能建模很多的，就是 meta level knowledge, 以 common sense... 这个表征其实它可以用在很多不同的地方。”
AI作为“学生”：工具使用与科学突破的新范式
在科学研究中，AI的角色应从单纯的预测模型转变为具备工具使用能力的“学生”。人类科学需要根本性突破，解决AI目前不会的问题。LLM不应仅被视为预测下一个传感器数据的模型，而应被视作一个通识教育下的本科生。这个“学生”不需要针对物理、生物分别训练，而是学习如何调用工具（如传感器收集数据）、编写程序分析数据，甚至利用LLM训练出专门的小模型来预测传感器输出。这种范式转变强调AI的主动性和工具链整合能力，而非被动拟合数据。> “LM应该把它当成一个人... 这个学生其实可以都学。他要开始就是像人一样，他会学会去用那些 tool... 它可以训练出就是这个 LM 可以帮你来训练出另外一个模型来预测 sensor。”
On-Device Agent：隐私、性能与混合计算的未来
关于端侧智能（On-device AI），目前面临模型能力、能耗与硬件限制的多重挑战。虽然完全在端侧处理复杂推理尚不现实，但混合计算架构（Hybrid Computing）成为主流方向。一方面，通过Confidential Computing技术，在云端利用硬件级加密保证数据隐私；另一方面，端侧部署轻量级Agent模型（如7B以下参数），专注于上下文管理、工具调用和用户交互。例如，Cursor等应用展示了在本地设备上处理用户数据并协调后端AI的商业模式。随着手机内存增加，专门用于Agent调用的端侧小模型（On-device Model）将成为可能，实现隐私保护与实时性平衡。> “未来会是一个跟 federated computing 云端以及某一定程度上端侧的 offline 的这种混合类，这样可以实现一种隐私保护、运算效率和这个便利性的一个最好的一个平衡吧。”
端侧Agent的技术路径与市场竞争格局
实现完全On-Device Agent的关键在于知识内容与推理能力的解耦。通过将大模型中的知识库抽离，仅保留小规模的推理与Agent能力模块（如3B-7B参数模型），可在手机端运行。这种架构下，端侧Agent负责任务规划与工具调用（Tool Use），而知识查询则通过联网或本地轻量检索完成。目前已有如Qwen 3.5等小模型展现出较强的Agent能力，预示着手机端专用AI Agent应用的前景。然而，这也引发了激烈的市场竞争，Apple、Google等科技巨头均可能入局。Context Management在本地设备上的实现将成为区分用户体验的关键，即AI仅在需要时向用户请求特定上下文或执行本地搜索。> “如果它的 agent 的这个能力很强的话呢... 一般来说，这个如果这个模型七B以内的就可以做到手机上了。”