Meta十年研究生涯与AI协作的转折点

田渊栋（Yuandong Tian）现任Recursive公司联合创始人，该公司致力于“用AI改进AI”的研究方向。在加入初创企业之前，他在Meta（Facebook AI Research）担任研究总监长达11年（2015年至2024年底）。在此期间，他深耕深度学习前沿领域，包括强化学习、表示学习、神经网络理解以及大模型效率与推理能力。其代表性成果包括构建能击败职业选手的开源围棋机器人（基于AlphaZero架构，仅需单GPU运行），以及在顶级会议发表的关于表示学习本质及大模型推理机制的创新论文，部分工作已被现代语言模型的训练所采用。

田渊栋指出，促使他离开Meta并创业的关键动机源于AI协作效率的显著提升。在离职前，他与当时版本的GPT-5.1（约等于该阶段模型）合作撰写了一篇单作者论文。他发现，AI能够高效地提供思路、进行头脑风暴并推导公式和定理，这比人类独自完成所有数学证明要高效得多。这种协作模式让他意识到，未来可能不再需要传统的实习生角色来执行基础推导工作。

“对于很多问题，我实际上可以问AI并与之进行头脑风暴，它会给出答案。我觉得这比我亲自做所有工作、推导所有方程和证明定理要高效得多。”

“Codex时刻”与创业的最佳时机

田渊栋认为，2024年底至2025年初是创办AI公司的最佳时机。他在Meta的最后阶段已经感受到技术范式的转变：虽然当时仍需手动编写代码和执行实验，但AI在创意生成和深度洞察引导方面的能力已初现端倪。他预见到，在三到五年内，传统的科研岗位可能面临被替代的风险，因此决定采取“疯狂”的行动——创业。

在他创立Recursive后不久，Codex等代码代理工具的出现标志着“Coding Moment”的到来。这些工具能够自动编写代码并完成各种实验，使得整个研究周期变得极其高效。田渊栋强调，这种从“AI提供想法”到“AI执行代码和实验”的完整闭环，极大地降低了科研门槛并提升了产出速度。他提到：“现在有了Codex以及所有能帮助编写代码和完成实验的代码代理，整个研究周期变得更加高效。”这一技术红利让他确信，此时创业能够充分利用AI作为科研伙伴的巨大潜力。

从“Groking”现象看模型泛化机制

在探讨AI研究的具体内容时，田渊栋提到了著名的“Groking”（顿悟）论文。该研究旨在理解神经网络在特定领域的工作机制。实验显示，当向网络输入结构化的数学问题时，模型首先会记忆答案。然而，如果继续训练，模型会突然涌现出正确的表示（representation），从而真正理解问题本质并具备强大的泛化能力。

田渊栋指出，这一过程证明了模型能够从“记忆”过渡到真正的理解，且这种正确的表示比单纯的记忆更加高效。这一发现揭示了神经网络内部从过拟合到泛化的关键转变机制，为理解大模型的推理能力提供了重要视角。这也正是Recursive公司希望深入探索的方向：利用AI自身来优化和改进下一代AI模型。通过理解这些底层机制，他们希望开发出更智能、更高效的学习系统。

创始人角色：从专注科研到全面负责

田渊栋对比了研究员与创始人的职业差异，指出“所有权”（Ownership）是两者最核心的区别。作为研究员，这是一种相对幸运的职业路径：无需担心生产环境、基础设施或公司生存问题，只需挑选一个难题并尽力解决。然而，作为创始人必须同时处理多重任务：确保公司生存、让投资者满意并看到增长平衡短期与长期目标。

“作为研究员意味着你不需要太担心生产、基础设施或其他让公司生存下来的事情……但成为创始人则完全不同，你必须同时思考很多事情。”

田渊栋强调，创始人的核心挑战在于领导力与方向把控。员工都在期待下一步的行动指引，因此创始人必须具备强大的领导能力，明确“事情该如何完成”。他坦言，这种从单一技术执行者到全面管理者的转变是巨大的挑战。尽管面临压力，但他认为在AI快速迭代的背景下，主动拥抱变化并建立自己的事业体系，比固守传统职业轨迹更具战略意义。他将自己定位为“疯狂的行动者”，旨在通过创业来定义未来AI研究的新范式，而非被动等待被技术取代。

创业思维：从苦力到创造力的范式转移

当前初创企业的环境与几年前有着本质区别。过去，成功的核心在于极致的勤奋，创始人需要日夜兼程，甚至每周工作18小时、7天无休，并雇佣同样能吃苦的员工来维持运转。然而现在，单纯的体力投入已不再是决定性因素。随着AI Agent等强大工具的出现，许多问题可以通过技术手段快速解决。但关键在于人类如何充分利用这些能力。AI像是一个许愿机，如果你只提出增量式的愿望，它也只能给出增量级的解决方案。因此，创始人必须具备跳出框架的思维（think out of box），通过提出具有突破性的愿景来同时解决多个问题，从而大幅提升公司价值。如果缺乏这种方向感，公司的估值将停滞不前。创业的核心竞争力已从“执行力”转向了创意的可执行性与创始人的创造力。正如视频中所言：> “Being a startup founder also means that your scope can be infinite... if you cannot think about that direction, then of course your company is Evaluated at approximately the same price as yesterday.”

AI在数学证明领域的突破与局限

AI在处理纯数学领域，特别是基于搜索和验证的任务上取得了惊人进展。目前，在纯数学方面，AI的表现已达到类似AlphaGo的水平。例如，有研究利用大模型推进了黎曼假设的研究。对于像纳维-斯托克斯方程（Navier-Stokes equations）或雅可比猜想这样曾被视为不可逾越的千年难题，AI擅长通过大规模并行搜索来寻找反例或具体解（如证明有限时间爆破）。这种“暴力计算”模式是AI的强项，通过让成千上万个Agent运行并消耗巨额算力（如百万美元），AI能发现人类难以察觉的具体解。然而，这并不意味着数学研究已被完全攻克。目前的新闻显示每周都有重大突破，但公众可能会逐渐对此感到麻木。AI在寻找具体解和反例方面表现优异，但这只是数学研究的一部分。视频指出：> “In terms of pure math side, you can see like pretty much has reached the Alpha Go level... I could some prove Navis talks it, the push the Riemann hypothesis very far.”

理论创新与工程优化的能力光谱分析

尽管AI在数学验证上表现出色，但在更广泛的科研谱系中仍存在明显短板。我们可以将相关工作分为四个光谱：数学家（证明定理）、理论物理学家（从数据中 formulate 新问题）、机器学习工程师（复现论文、优化内核）以及信息工作者（依赖硬件和分布式系统）。AI目前最擅长的是数学家层面的验证工作，而在理论物理学家层面——即形成新概念、新框架以解释现状的能力上表现不佳。即使在使用GPT-6等先进模型时，人类仍会感到AI缺乏真正的突破性灵感。当人类产生一个绝妙的想法时，GPT-6往往只能在局部最优解中徘徊，无法跳出思维定势。这种缺乏“革命性”创新能力的现状表明，AI尚未在理论构建层面实现突破。视频强调：> “What AI is not good at is probably to form like new formulations... current AI is still not that great.” 这意味着，未来的核心竞争力将集中在那些需要人类进行概念重构和理论创新的领域。

AI内核优化能力的崛起与基准测试表现

当前AI系统正在向递归自我改进的方向发展，特别是在机器学习和内核优化（kernelization）领域取得了显著进展。早在六月发布的一篇博客文章中，作者团队就展示了其系统在内核优化方面的卓越能力。我们在Nvidia的一个名为Solexec的基准测试中获得了第一名，并且击败了包括Double AI在内的初创公司，后者拥有专业的GPU工程师团队。这一成果由作者本人最初推动并证明其潜力，随后公司内部多人协作进一步提升了性能。我们取得了令团队自豪的数据表现。

尽管目前排行榜上已有许多其他团队超越了我们，但这恰恰证明了该趋势的普遍性。随着更多人意识到这一方向的价值，竞争日益激烈。AI的发展趋势如此迅速，以至于一些研究人员开始感到自己的专业技能被边缘化。例如DeepSeek的研究人员Infrared曾撰文表示，由于AI能够高效完成内核编写和性能提升工作，他不再享受过去那种通过手动优化代码获得成就感的过程。这表明AI正在接管大量原本由机器工程师完成的工作任务。这种变化并非未来时，而是正在进行时，我们将看到模型迭代速度的大幅加快以及内核质量的显著提升。

工程师角色的转变与人类的高维思考优势

面对AI可能取代传统编程工作的现实，作者认为这是一种不可逆转的新常态。我们不可能回到过去完全依靠手工编写代码的时代。未来的工作模式将是人类利用AI代理来辅助编码，但这并不意味着人类的终结。相反，作者感到并不焦虑，因为人类拥有在高维空间中进行概念层级思考的能力。通过寻找AI在日常工作中的弱点，人类可以保持自身的价值。从经济角度看，你在日常工作中发现的AI问题越多，你未来的价值就越高；从个人热情来看，探索AI的局限性本身也是一件非常有趣的事情。

人类的核心优势在于快速的学习能力和经验积累。即使面对像GPT-6这样强大的模型，人类通过详细分析其签名、参与项目构建和问题解决，能够迅速识别出AI无法妥善处理的情况。人类可以比AI学得更快，这种动态博弈形成了一个无限循环：当AI变得更强时，发现问题的难度增加，但人类也会随之上升到更高的概念层级来引导AI。只要这种持续学习（continual learning）和数据高效学习（data-efficient learning）的能力存在，人类就能在很长一段时间内保持领先。

思维模型缺陷与持续学习瓶颈的内在联系

在深入探讨AI弱点时，作者指出了两个紧密相关的关键问题。首先是思维模型（mental model）的缺失。即使是像GPT-6这样的高级AI，提出的问题往往显得枯燥乏味，因为它缺乏对世界构建良好的心智模型来提出深刻或“外行”的问题。其次是持续学习中的平台期问题。当AI在测试时进行计算优化（test-time compute）达到一定阶段后，性能会陷入停滞；而人类则能通过试错和经验积累实现突破性的新水平。

这两个问题实际上是相互关联的，共同构成了当前智能系统的维度弱点。AI缺乏对世界的深层理解导致其无法提出高质量的问题，同时也限制了其在没有大量数据预训练情况下的持续进化能力。人类通过试错获得的经验能带来质的飞跃，而AI往往在遇到未见过的情况时表现不佳。这种差异使得人类在面对复杂、非结构化问题时，依然能够通过快速适应和创造性思维找到解决方案。因此，尽管AI在特定任务上表现出色，但在泛化能力和深层逻辑推理方面仍存在根本性局限。

人类直觉与AI迭代的互补性

在人工智能的长期运行中，人类的进步速度远快于机器，但经过数小时的高强度工作后，AI往往会陷入停滞。作者通过实验观察到一种有趣的现象：当人类连续检查AI二十四小时的结果时，容易因疲劳而忽略潜在机会；相比之下，人类只需五分钟阅读即可提出突破性建议。这种“跳出框架”的思考能力是AI目前的瓶颈。例如，当人类指出某个被忽略的方向时，AI能迅速采纳并验证。解决这一瓶颈的关键在于开发新的AGI算法或模型，使其具备像人类一样快速学习多种机制的能力。一旦实现这一突破，AI的水平将发生质的飞跃。目前人类与AI之间仍存在巨大差距，但在重复性工作中，由于样本量无限积累且超过阈值后模型能泛化失效情况，AI已展现出超人类的能力。未来若能将这种能力扩展至非重复性领域，将彻底改变工作形态。

Transformer架构的局部最优陷阱

当前行业普遍采用基于Transformer、预训练和强化学习（RL）的技术栈，但这可能过于僵化。作者认为，Transformer并非长期的正确方向。由于硬件架构（如自注意力机制和前馈神经网络）也向此收敛，导致新框架难以脱颖而出。整个行业陷入了局部最优解（Local Minimum）。回顾2012至2016年，当时行业主要依赖CNN和仅能记忆百步上下文的RNN。Transformer的诞生初衷仅是为了解决遗忘问题，将上下文推至百步以上。没人能预见它能扩展到千万级上下文窗口。因此，下一个突破点可能来自一个看似微小的不同方向。新架构最终会脱颖而出，这需要时间积累和集体推动。正如优化器Adam统治十年后出现的Muon，尽管初期在分布式训练中不友好，但通过单卡测试验证其有效性，再逐步优化并行策略，最终成为主流方向。新架构的崛起同样需要经历从边缘到核心的过程。

产品策略与研发方向的探索

在产品落地层面，团队目前保持通用性，正在模型训练管道的不同侧重点进行探索。虽然已有商业构想，但为了保持兴奋感和确保技术成熟度，暂不提前披露具体方向。作者提出了两个主要研发路径：一是回归理论创新，像“ bitter lesson”之前那样通过新实验推动机器学习发现；二是聚焦工业级机器学习的特定环节，如分布式随机优化。目前内核优化因易于基准测试而被选中作为切入点。下一个关键链接可能是更复杂的分布式优化问题。这种策略旨在通过解决具体且可量化的科学难题，逐步推进整体技术栈的进步。团队相信，通过持续在多个路径上投入资源并验证有效性，最终能找到兼具理论深度与工业实用性的解决方案。

行业效率提升与研究方向的分化

在人工智能领域，虽然像基准测试（benchmark）这样的指标易于量化，但在涉及附带统计、数据高效机器学习或泛化能力等复杂维度时，设计可推动的评估标准极为困难。展望未来两年，主要突破将体现在两个方向：工业界与学术界。在产业层面，重点在于通过大量尝试优化系统性能并提升效率。从业者将投入更多精力开发更高效的工业级解决方案，这部分进展是确定且重要的。在研究层面，随着AI能力的增强，人们正在探索新思想与新思路。尽管目前许多有趣的概念仍在涌现和探索阶段，尚未形成统一的突破点，但这种持续的创新活力是行业发展的核心动力。

后训练技术的趋势演变：从RL到OPD

技术风向的转变在近期学术论文中体现得尤为明显。以“后训练”（post-training）领域为例，去年的研究热点主要集中在强化学习（Reinforcement Learning, RL），而今年则明显转向了在线知识蒸馏（Online Post-training Distillation, OPD）。这一趋势表明，业界逐渐认识到OPD在现实世界的后训练任务中具有极高的实用价值。这种从理论探索到实际应用的转变，反映了研究人员对技术落地效果的重新评估。OPD的兴起并非偶然，而是基于其在处理复杂训练场景时的优势。这种技术路线的快速迭代也说明了AI领域对高效、可验证的训练方法的迫切需求，以及研究者对市场反馈的敏锐响应。

评估难题：从明确指标到长期场景的挑战

在基础工作如代码生成中，人类可以通过测试确认结果的正确性；但在更困难的研究领域，确保最终结果符合预期变得极具挑战性。评估方法通常依赖于设计特定的指标（metric），这些指标可能不直接相关，但依然具有参考价值。例如，团队在六月发布的一个问题之所以被选中，是因为其评估标准非常清晰：通过内核化（kernelization）和五分钟预训练，可以很容易地验证解决方案。如果找到一个既满足所有正确性检查又更快的内核，这就构成了一个完美的解。然而，随着研究向长期场景延伸，找到最关键的机会点变得非常棘手。有时两周的时间不足以判断模型的好坏，这就引出了如何评估中间步骤奖励归属（intermediate step reward attribution）的问题。

AI for AI：自我验证与可解释性的崛起

面对长期评估的困境，一种新的思路是“AI for AI”，即让AI能够创建可验证的环境或基准测试。这种方向不仅涉及环境生成，还关乎对AI自身的理解——即可解释性（interpretability）。过去，由于缺乏落地应用支撑，可解释性的发展较为缓慢。但在当前背景下，当人类精力不足以阅读所有AI探索路径时，可解释性作为一种评估指标变得极具吸引力。通过让AI生成开放试验环境，研究者可以间接监控和验证模型的内部逻辑。这种自我监督和自我评估的机制，为解决复杂研究中的“黑盒”问题提供了新的可能性，也是未来AI安全与可靠性的重要保障。

创业心态的转变：从大厂思维到主动担当

回顾创业历程，最大的挑战在于适应比预期更快的节奏以及承担更多的所有权责任。在大公司工作多年后，人们习惯于明确的职责范围（scope），例如只负责特定问题并将其他事务交给开发人员。但在初创公司，尤其是作为联合创始人时，必须主动发现问题并尽力解决。如果创始人仍保持大公司的被动心态，公司很可能失败。因此，“亲力亲为”（hands-on）和“接地气”是初创公司的生存法则。创始人需要深入了解正在做的事情，确保每一步都扎实有效。这种主动性和责任感是初创公司区别于大公司的关键特质。虽然这一过程充满挑战且出乎意料，但它也带来了巨大的成就感。越亲力亲为的创始人，公司的状态通常越好。

初创公司的资源困境与管理陷阱

对于小型创业公司而言，缺乏充足资源是核心痛点。如果初创企业未能摆脱大公司的官僚主义和多层级管理链条，一旦停止某些传统操作，很快会陷入与大公司相似的困境。由于初创团队没有足够的冗余资源来应对突发状况，管理结构的僵化几乎必然导致业务受阻。因此，确保组织保持敏捷、避免官僚化是生存的关键。此外，在AI工具的使用上，高效利用AI工具将是决定初创公司生死存亡的分水岭。如果小团队能比大公司更有效地部署AI代理（Agents），这种效率差异将产生天壤之别的效果，成为小公司在大厂夹缝中突围的核心竞争力。

算力成本压力下的技术路线选择

在AI研究领域，初创公司面临巨大的资金挑战。如果计算云GPU租赁和实验运行成本高昂，而融资不足，公司往往被迫转向调用外部API（如OpenAI）。然而，将所有资金消耗在第三方API流量上并非长久之计，投资者也不会满意这种缺乏核心壁垒的模式。因此，Innovator Coffee 选择了一条更艰难但更具自主性的道路：自建并训练自己的模型。团队同时推进多个阶段的模型开发，并在部署和研究效率上取得了实质性进展。这种策略虽然初期投入大，但能避免被外部技术供应商锁定，确保公司在长期竞争中的独立性和可持续性。

基础设施自主化与资金效率对比

与大公司不同，初创公司在资金使用上更为谨慎和高效。在大企业中，管理者可能分配数千张GPU（如 1K GPUs）并任由其空转过夜，因为“那不是我的钱”，这种粗放式管理导致资源利用率低下。而在初创公司，基础设施的效用极高且可自主掌控。创始人亲自编写大量底层代码（“很多行代码”），通过自建集群和优化流程，实现了比大公司高得多的资金效率。这种对每一分钱的精打细算和对基础设施的深度掌控，使得小团队在同等资源下能实现更快、更平滑的研发迭代。这种高效与有效性的结合，是初创公司在算力昂贵时代生存的重要法宝。

开放域科研的局限与人类独特价值

AI在封闭领域（如围棋）已取得超越人类的成果，因为规则有限且目标单一。然而，AI研究属于开放域问题（Open Domain Problems），其目标和评判标准是动态生成的。在科研前沿，往往没有已知的正确答案或既定准则，目标与标准是同步演进的。目前的AI难以在这种完全开放的环境中独立探索新方向，因为人类尚无法预知正确的评估标准。因此，未来的AI发展将呈现两条路径：一是通过大规模数据和强化学习（RL）提升基础模型能力；二是发挥人类在提出有趣问题和发现新方向上的独特优势。人类负责定义问题，AI协助解决，这种人机协同进化（Human-AI Co-evolving）的模式将是突破当前科研瓶颈的关键。

人类独特性与AI的互补演进

在探讨人机协作的未来时，核心差异在于问题的新颖性。人类能够带来全新的问题和视角，而AI很难穷尽所有可能的角度和方向。尽管目前的AI无法独立进行“跳出框架”的思考，但顶尖的机器学习研究人员具备这种能力。未来的模式将是人类定义探索方向，AI协助执行。一旦研究者明确了工作目标，借助AI的帮助，双方将能共同产生有趣且富有成果的研究。这种协作模式并非取代人类，而是放大研究者的智力边界。

"Human can come with a new problems, come with a new angles... current AI by itself cannot think about that."

未来一年的科研范式变革预测

对于接下来的一年，AI领域的变化将以周甚至天为单位发生。最显著的趋势是大量论文将由AI撰写，许多研究项目将实现人与AI的深度协同，导致出版物和代码库呈指数级增长。传统的阅读方式将面临挑战，人们可能不再逐篇阅读全文。取而代之的是多层信息提取系统的出现：通过自动化手段从海量论文中提取关键信息和创意，形成“提取的再提取”。此外，研究者展示成果的方式也将发生巨大变化，如何有效呈现工作以获取认可将成为关键技能。这种变革要求科研社区适应新的信息过滤和验证机制。

"I would say next year we will going to see... a lot of paper will be written by AIs, a lot of ideas and a lot of research project will be done by both human AI together."

经济价值最高的AI垂直领域突破预测

从经济学角度评估，若排除纯数学（已达到AlphaGo级别的解决能力）和机器学习本身，材料设计被认为是未来一年最具经济价值的突破方向。其优势在于拥有足够的确定性验证环境，且无需像药物发现那样经历漫长的临床审批流程。虽然目前仍依赖高计算强度的模拟（如DFT），但相比药物研发，材料设计的验证周期更短、经济回报潜力巨大。其次是内核优化和软硬件协同设计，这些领域同样具备可验证性且当前AI表现强劲。相比之下，生物、药物发现等领域因涉及复杂的审批和人体适用性验证，其短期经济爆发力略逊于材料科学。

"I would say, like for example... material design. Yeah? Because first of all, if you get very interesting material that can work well, it's enormous econ values."

结论

视频论证表明，AI在数学验证、代码生成及内核优化等封闭或结构化任务中已具备超越人类的效率与精度，甚至达到AlphaGo水平。然而，在理论创新、概念重构及开放域科研等需要深层心智模型与突破性灵感的领域，AI仍存在显著短板。人类的核心价值正从执行转向定义问题、提供高维思考及发现AI局限。

未来科研范式将演变为“人类定义方向+AI执行验证”的协同模式。初创公司需通过自建基础设施与高效利用Agent来对抗算力成本压力，避免陷入大公司的资源浪费陷阱。尽管AI将指数级增加产出，但人类在提出新颖问题、把握技术方向及应对非结构化挑战上的独特优势不可替代。