以“巫师”自喻:挑战 Transformer 的垄断地位

Core Automation CEO Jerry Tworek 在万圣节特别节目中,身着《巫师》主角杰洛特的服装登场。他幽默地表示自己是“猎魔人”,其使命是消灭一种特定的神经网络架构。他认为,Transformer 虽然在过去取得了巨大成功,让 AI 研究人员产生了“ Transformer 已是终点”的自满情绪。尽管通过规模扩展,Transformer 带来了性能提升和新技能的出现,但 Tworek 主张采取反主流文化(counter culture)的立场。他指出,存在不同的神经元排列方式和 GPU 内存组织方式,这些方法能孕育出更智能、更具鲁棒性的未来学习系统。虽然他对当前 AI 助手的成果感到满意,但坚信有更好的技术等待被构建,这正是他与公司致力于研发的方向。

摒弃行业微调:从“实验室知识”转向“实时学习”**

针对数据效率问题,Tworek 澄清 Core Automation 并非不需要数据,而是追求更高的数据效率(data efficiency)。他批评当前大实验室的模式是购买海量特定领域数据,试图让模型在预训练阶段就掌握医疗、法律或编程等所有专业知识。他认为这种“全知全能”的假设是不现实的。Core Automation 的核心愿景是将学习过程从实验室转移到客户手中。例如,一家律所无需购买一个预设了所有案例知识的现成模型,而是可以构建一个能与用户共同学习、在处理实际数据时实时进化的系统。这种模式强调模型在与用户的交互中,针对用户真正关心的数据进行持续改进。

超越开源权重:算法架构替代低效微调**

在讨论与“开放权重模型”的区别时,Tworek 指出开源方案的核心痛点在于微调(fine-tuning)的低效与困难。他认为,现有的微调方式需要大量人力投入且结果无法保证。Core Automation 通过不同的算法架构,提供了一种替代方案。他形象地描述道:“一方面是你有一个神经网络,另一方面是数据,问题是如何将这两者结合起来。”微调只是其中一种效果不佳的结合方式。通过新的架构设计,公司能够解决那些仅靠微调 Transformer 难以实现的复杂任务。Tworek 强调,他们通过架构创新来保证结果的可预测性和优越性,而非依赖传统微调的试错过程。

像组建橄榄球队一样打造精英 AI 团队**

在团队建设方面,Core Automation 目前拥有 27 名员工。Tworek 分享了其独特的人才观:在 AI 时代,人才的价值远超以往。他招募了前 OpenEye 首席人力官等资深人士,旨在组建一支能快速移动、构建前沿系统的小型精英团队。他开玩笑说,在当今模型中,“人充当了持续学习的代理(continually learning meet proxies)”。团队招聘并非盲目寻找聪明人,而是像drafting 橄榄球队一样精准匹配角色。他强调:“我们有一个使命要完成,我们正在组建的团队几乎就像是在挑选橄榄球队。这个人担任这个角色,那个人担任那个角色。”这种高度定制化的人才策略确保了团队能深度利用自动化和智能体技术,以最小规模实现最大效能。

未来企业的自动化架构与人类角色

未来的公司运作模式将与今天截然不同,AI将接管大量繁琐且劳动密集型的日常工作。在这种高度自动化的环境中,核心问题转变为需要多少“最大化赋能”的人类员工,以及如何重组人类的工作流程以匹配前所未有的效率。理想的未来图景中,公司主要由AI运营:处理所有流经公司的信息、提出决策建议并操作软件与机械。人类的角色将从执行者转变为设定目标与控制方向盘的人。人类负责定义公司资源的使用目标和期望达成的成果,采纳AI的建议,但始终保持在自动化系统之上的控制权。这种模式可能演变为一种极简的组织形态:董事会会议决定资源分配,AI执行任务,随后再次开会评估结果并设定新目标。尽管这一愿景仍需多次迭代才能完全实现,但行业正稳步向此方向演进。

内部工具开发与OpenAI经验传承

在技术栈方面,Core Automation目前主要使用Open AI的模型作为基础层。虽然Codex等通用工具对大众有用,但Jerry认为其在模型之上增加的附加值有限。因此,团队正在逐步迁移至自研解决方案,旨在提供更高的灵活性和对特定工作流的定制能力。关于文化传承,Jerry从OpenAI带出的核心理念是保持高野心与敢于创新的研究文化。他高度认可OpenAI早期那种虽无明确路径但充满信念、专注于突破式研究并战略性构建算力与团队的作风。然而,他也指出当前的竞争格局已变,不再可能复制OpenAI早期的资源环境。因此,Core Automation在继承研究文化的同时,必须适应更快速的市场节奏。我们需要更强的紧迫感,并采用更具“反主流”和“Underdog(弱者/挑战者)”心态的运作方式,以在资源有限的情况下对抗现有范式。

极致的资源聚焦与初创生存策略

Core Automation的运营模式体现了极端的资源集中。公司获得了5320万美元的种子轮融资,但这笔资金在Jerry看来相对于其野心而言依然非常有限。公司的预算策略极其单一且激进:所有资金几乎全部用于购买市场上最好的GPU,除了少量的办公室租金和零食费用外,不产生其他主要开支。Jerry强调,这种“穷困”的表象下是对算力这一核心生产资料的绝对押注。此外,团队利用AI自动化处理诸如零食订购和分发等行政琐事。Jerry指出,让Agent(智能体)自动化处理这些任务至关重要,因为人类不应在这些非核心事务上浪费宝贵时间。这种对算力的极致投入和对行政效率的自动化追求,构成了其在资源劣势下保持竞争力的基础策略。

基础模型融资的“末班车”效应与巨头加速

Jerry Tworek认为,当前可能是最后一批获得融资的基础模型初创公司。他指出,AI能力的快速迭代使得后来者难以追赶。传统创业逻辑中,初创企业往往依靠大公司的低效和迟缓来寻找生存空间。然而,AI驱动的效率提升将赋予大公司更快的响应速度。随着政治阻力减少和资源直接调配能力的增强,大型企业在AI时代的竞争力将大幅跃升。这种“ runaway effects”(失控效应)意味着,初创企业依靠信息差或速度优势的传统护城河正在消失。如果未来工作形态发生根本性变化,创业公司的形态也将变得难以预测,风险承担的方式可能会完全不同。

从“聊天伴侣”到“价值生成工具”的定位差异

Core Automation的核心战略非常明确:不构建朋友或治疗师,而是构建能为你工作的模型。Tworek强调,他们的目标是让AI在用户关心的任务上生成价值。这种定位区别于那些旨在提供情感陪伴的通用大模型。他们希望用户能够像培训新员工一样训练AI。通过展示公司的数据环境、计算机界面以及具体任务流程,用户只需演示几次,模型就能学会并持续执行这些工作。这种模式强调的是结果导向和任务完成度,而非对话的趣味性或情感连接。用户不需要具备复杂的提示词工程技巧,只需明确意图,AI即可自动适配并交付成果。

个性化智能体:超越上下文限制的持续学习

当前的AI代理(Agent)主要依赖系统提示词和短期记忆文件进行个性化设置。Tworek批评这种方式的局限性:模型无法在有意义的方式上学习新技能。如果某个任务难以用语言描述,现有的代理很难通过简单的提示优化来改进其表现。相比之下,Core Automation致力于开发能够从用户行为中持续学习并自我更新的模型。这种智能体会随着时间推移,更深刻地理解用户的模糊或不完整的指令。它不是静态地依赖预设规则,而是通过互动动态调整自身行为以适应用户需求。这种个性化的适应能力将使代理体验更加紧密和高效,解决当前AI在理解复杂、非结构化意图时的痛点。

企业运营范式转移:从劳动力分配到资源调配

Tworek关注的是公司如何运作以及人类与AI的协作模式。他观察到,许多企业在寻找AI真正产生意义的场景时遇到困难。未来的企业将不再是单纯的劳动力聚集地,而是以资源分配为核心的场所。在这种范式下,人类介入工作流并提供辅助,而大部分执行由AI驱动的劳动力完成。这种转变意味着企业的核心价值将从管理人力成本转向优化资源配置效率。随着AI代理逐渐取代部分人类职能,基于使用量的计费模式可能会发生变化。对于求职者和行业从业者而言,这意味着需要适应一种新的工作生态:人类的角色将从执行者转变为监督者和资源协调者,在AI主导的工作流中发挥关键作用。

后劳动社会与“高中时代”的生活图景

Jerry Tworek提出我们正迈向一个被称为后劳动社会(post labor society)的未来。在这个阶段,人类不再被强制要求通过工作来产生价值或履行义务。他形象地将这种理想生活状态比作高中时期,那是一个人们主要花费时间在学习和与朋友交往上,而无需承担繁重工作负担的人生阶段。尽管这种状态听起来轻松,但Tworek也幽默地指出,即便在这种完全自由的假设下,人们可能仍然会选择完成作业等任务。他自述曾是反作业(anti homework)的人,不喜欢在家花时间做作业,甚至因为做得太快常被同学抄袭。这种对“无义务生活”的想象,反映了他对未来人类从重复性劳动中解放出来的乐观预期。

编程职业的渐进式转型而非瞬间替代

关于哪些工作会被最快取代,Tworek认为这并非单一职业的突然消失,而是各种类型的工作逐渐被替代。他以程序员为例指出,虽然编程职业本身并未消失,但其工作性质发生了根本性转变。现在的工程师编写代码的速度和方式与过去截然不同,许多群体甚至几乎不再阅读代码。这种职业动态(dynamics)的改变影响了就业市场,但并不意味着岗位被完全取代。他预测,自动化更可能同时发生(all at the same time)而非逐个击破。在实现完全自动化之前,人类仍需提供监督(oversight)和只有人类才能理解的上下文。这种同步替代对社会而言或许是好事,避免了部分岗位自动化而其他未自动化的混乱局面。

物理与数字工作的巨大鸿沟

在讨论自动化范围时,Tworek指出了计算机工作(computer jobs)与需要肌肉力量和物理移动的工作之间的巨大分歧。他认为,涉及硬件和实体操作的工作(如机器人领域)自动化进程会稍慢一些。然而,鉴于该领域巨大的投资和研发力度,物理层面的自动化最终也会实现。这种区分揭示了当前AI技术的主要应用边界:目前最成熟的是数字空间内的自动化,而物理世界的机器人技术虽然进展缓慢,但同样处于加速发展的轨道中。这意味着未来的劳动力市场变革将首先深刻影响知识工作者和数字从业者,随后逐步波及实体操作领域。

面向企业的本地化“每机架”商业模式

作为研究驱动型公司,Core Automation的首要任务是交付突破性技术(breakthrough technology),而非参与现有的代理市场或简单部署Transformer模型。Tworek明确将目标客户定位为企业(enterprise),特别是那些愿意进行内部转型、逐步实现业务自动化的公司。他理想的收费模式是按机架(per rack)计费,而非传统的按Token计费等用户敏感的方式。他设想客户可以在数据中心部署如GB300和VL70机架(rack)这样的硬件,并安装Core Automation的软件。该软件将从企业数据中学习,执行所有必要的业务功能。数据不出系统(data doesn't leave your systems)是这一模式的核心优势,确保了隐私和信任。他将自己定位为Nvidia芯片之上的额外层(extra layer),帮助企业利用算力实现商业目标。

坚持使用 NVIDIA 芯片,专注模型而非自研硬件

Core Automation 在底层基础设施上选择了拥抱现有最强算力的策略,而非陷入自研芯片的泥潭。Jerry Tworek 明确指出,尽管市场上有许多公司试图在硬件领域竞争,但Nvidia 目前拥有最好的训练芯片。因此,Core Automation 选择与 Nvidia 合作,确保模型能在最优质的硬件上运行。他们放弃自研硬件的原因是团队的核心能力在于深度学习栈和模型训练方法,而非芯片制造。他们的目标是在现有的、擅长矩阵乘法运算的硬件基础上,开发出具有最大学习能力的最佳模型。这种策略使他们能够专注于算法创新,而不是分散精力去攻克硬件工程的难题。

"Nvidia builds just the best training chips in the market and that's why we are very happy to be working with them."

CEO 的双重角色:从纯粹研究到全面运营

作为 CEO,Tworek 面临着研究与商业运营之间的巨大张力。虽然他个人非常享受研究工作,但经营公司意味着必须处理融资、对外沟通以及在生态系统中定位自身价值等复杂事务。他坦言,CEO 的工作不仅是关注研究,更要解决所有运营层面的“头痛问题”。然而,这种角色转换也具有极强的赋能作用:通过建立公司这一有机体,能够将设计理念转化为现实产品。他形容创业是实现特定技术目标的最佳途径之一,因为公司不仅仅是模型的集合,更是一个需要高效运转的整体生态系统。

"Everything is your problem and everything is your responsibility not just research... trying to design something that you want to be built which is this new type of model and then try to bring it to the world."

创业时机的把握:AI Agent 加速研发周期

Tworek 认为,“时机”是创业成功的关键因素之一。他回顾早期在波兰的经历及大学时的项目,意识到当时市场尚未准备好。如今启动 Core Automation 是因为AI Agent(智能体)技术的成熟极大地压缩了研发周期。他指出,如果没有强大的 Agent 支持,启动 AI 实验室的过程将如“冰川般缓慢”。借助现代 AI 解决方案,原本需要两年才能完成的工作量现在可能只需3个月。这种效率提升使得快速迭代成为可能,同时也带来了紧迫感:必须在其他公司从 Transformer 转向更先进的架构之前,抢占在 Agentic Workloads(智能体工作负载)领域的领先地位。

"With like modern AI solutions, we're able to probably compress two years of work in 3 months... Starting an AI lab is a very slow process and requires a lot of time."

核心团队组建与早期招聘策略

Core Automation 的创始团队由 Jerry Tworek 和 Rohan 等核心科学家组成,他们在招募初期采取了直接且高效的沟通方式。Jerry Tworek 回忆道,当时他通过电话联系那些自己大致了解其研究背景的潜在成员,直接询问他们是否愿意加入这个旨在解决特定问题的团队。招聘的成功率并非一成不变,早期团队的加盟比例较高,但随着时间推移有所波动。Rohan 作为首批回应者之一,明确表示加入团队。这种早期的“高转化率”得益于创始人在招募时能够清晰传达公司的愿景和目标,使得潜在成员能够快速判断自己是否契合。对于非研究类岗位(如系统或数据工程),Core Automation 的定位与其他公司略有不同,其核心优势在于极度依赖自动化技术来开发系统。在这样的环境中,工程师需要具备极高的自主性,一个人要承担相当于其他公司整个团队的工作量。这种高强度的角色设定成为了吸引特定类型人才的关键因素,也是公司在资源有限的初创阶段保持竞争力的重要策略。

对模型评估(Evals)的批判性反思

Jerry Tworek 对当前 AI 行业过度依赖基准测试(Evals)的现象持强烈批评态度。他认为,评估指标往往导致思维狭隘和自满情绪。他将 Evals 比作广告行业,指出模型发布者通常会挑选自己擅长的特定评估项进行展示(Cherry-picking),从而营造出模型表现优异的假象。然而,这些公开评估结果与实际的市场价值存在巨大差异。由于缺乏统一的、深度的测试标准,许多用户只能盲目追随最流行的模型。更关键的是,传统的 Evals 是建立在“冻结”模型的假设之上的。如果模型在部署后具备持续学习能力,其性能得分可能在几分钟内就发生变化。因此,依赖静态评估来衡量动态学习模型的价值是一种过时的思维模式。Jerry 强调,真正的有效性不应仅看榜单分数,而应通过实际工作场景中的表现来验证。这种观点揭示了当前 AI 评测体系的局限性,即无法反映模型在真实、动态环境中的长期适应能力和实际效用。

优秀研究者的特质与日常挑战

在构建成功的研究实验室时,识别和招募合适的研究人员是核心任务。Jerry Tworek 指出,优秀的研究者与初级研究者的最大区别在于对课题的深度理解。资深研究人员能够随着时间推移,建立起对神经网络及其训练动态更深刻的心理模型和直觉。此外,避免群体思维(Group Think)是研究员最重要的素质之一。如果一名研究者只是跟随行业趋势或重复他人的想法,他将无法解决未解之谜。研究的核心价值在于突破现有方法的边界,这需要极大的勇气和智慧。同时,Jerry 强调,最成功的研究者通常也深刻理解底层系统和 GPU 架构。因为深度学习建立在硬件基础之上,研究人员必须能够在神经网络的理论洞察与底层数学模型执行之间找到平衡点。这种跨层级的理解能力使得他们能更有效地优化训练过程。在日常工作中,研究员需要不断在理论假设与工程实现之间切换,这种对系统底层的掌控力是区分普通研究员和顶尖研究员的关键分水岭。

评估研究员效能的核心标准:避免无效停滞

在人工智能实验室中,衡量一名研究人员是否优秀的核心指标并非单纯的产出速度,而是其能否有效避免在问题面前陷入停滞。Jerry Tworek 指出,研究人员最常见的失败案例是面对难题时无法找到解决路径,导致长时间重复无效劳动而毫无进展。他观察到许多团队如同在跑步机上奔跑,看似忙碌却原地踏步。真正的优秀研究员能够迅速判断自己是否拥有推进理解的可行路径,即使面对极其困难的问题,也能通过拆解步骤确保每一步都带来新的知识或洞察。这种周期性提升对研究对象理解的能力,是区分平庸与卓越的关键。

此外,研究员需要具备宏观视野和批判性思维。避免“想得太小”是另一个重要素质,这要求研究人员在数据解读中保持足够的怀疑精神,不被随机性所误导。Tworek 强调,这种从经验中获得的对随机性的警惕能力是一项需要刻意练习的技能。当研究人员结合了快速推进理解的能力、宏观方向判断力以及对数据的审慎态度时,他们往往能取得显著成功。当前机器学习领域极具潜力,只要具备智能、优秀的同事协作以及充足的算力资源(如 GPU),几乎必然能发现具有完全价值的全新成果。

Core Automation 的战略规划与行业加速预期

在谈及公司当前的日常运营及未来路线图时,Jerry Tworek 表示虽然内部有着非常精确的发展规划,但出于商业保密考虑,他们并不公开讨论具体的执行细节或年底目标。然而,他对整个AI行业的指数级加速曲线持有强烈的信心。他引用 Anthropic 的案例指出,该公司在短短5年内成长为万亿市值企业,被许多人视为资本主义历史上效率最高的扩张公司之一。尽管这是一个惊人的成就,但 Tworek 认为这仅仅是开始。他坚信行业正处于加速发展的指数曲线中,因此必然会出现一家甚至多家效率更高、扩张更快的下一代公司。他预测,未来很可能已经有一家公司正在起步,有望在3年内就达到万亿市值的规模。对于具体是哪家公司,他幽默地暗示可能与 Core Automation 有关,但表示需要让未来来验证。这种对行业极速演进的判断,构成了他当前战略自信的核心基础。

被低估的AI核心技术:网络架构研究

在回答关于“当前AI领域中最被低估的技术”这一关键问题时,Tworek 明确指出是网络架构及其相关研究。他认为业界曾一度忽视这一领域,但它必将迎来像加密货币那样的强势回归(Comeback)。尽管他开玩笑说“你不相信加密货币吗?”来调侃这种周期性现象,但他严肃地强调了基础架构研究的重要性。在随后的快速问答环节(Fire Round)中,他透露自己最喜欢的书是《猎魔人》(The Witcher),并确认自己确实阅读过原著,而非仅看过剧集。当被问及最想邀请参加晚宴的人物时,他选择了前美国总统巴拉克·奥巴马。这些个人偏好虽非技术核心,但反映了他对复杂叙事和领导力议题的关注。对于职业生涯中影响最大的人,他含蓄地表示是某位前辈(some old one),但未具名。这些细节共同勾勒出一位在技术判断上极具前瞻性、同时在个人兴趣上保持多元的领导者形象。

工作与生活平衡及结语

在探讨个人生活与工作边界时,Tworek 展现了一种极简且专注的生活态度。当被问及在工作之外通常在哪里能找到他时,他的回答非常直接:在家。他强调自己不做太多其他事情,主要精力都投入在工作和陪伴家人上。这种高度聚焦的生活方式可能也是他能够持续推动 Core Automation 快速发展的个人因素之一。

访谈最后,主持人感谢 Tworek 的分享,称这是一次非常愉快的对话。Tworek 也回应表示很高兴参与。随着主持人 Aar 准备结束访谈,对话在轻松的氛围中落下帷幕。整个片段不仅展示了 Core Automation 对行业未来的宏大愿景,也通过具体的技术观点和个人侧面,呈现了创始人在快速变化的AI浪潮中的冷静思考与务实作风。网络架构研究的回归被视为下一个关键的技术爆发点,值得行业持续关注。

结论

Core Automation通过摒弃Transformer微调,采用自研网络架构实现数据高效学习与实时进化。其核心优势在于以“每机架”模式提供本地化部署,确保数据不出系统并生成实际业务价值。该方案将人类角色从执行者转为资源协调与目标设定,适用于追求高自动化且重视隐私的企业场景。尽管物理世界自动化仍滞后于数字领域,但依托Nvidia算力与精英团队的高效迭代,公司正试图在巨头加速竞争中抢占智能体工作负载的先机。