我其实不知道我们看起来怎么样，不过好吧。>> 嗨，Jerry。欢迎来到《Grace的创投故事》（Venture with Grace）。 >> 非常感谢你。很高兴来到这里。 >> 嗯，也许我们可以聊聊我们的万圣节特别装扮。 >> 今天是万圣节。 >> 今天确实是万圣节。好的，你想简单介绍一下为什么你选择了《猎魔人》吗？ >> 我是杰洛特。利维亚的杰洛特，怪物和Transformer（变压器/转换器）的杀手。 >>

是的，我就是那个……嗯，>> 那就是现在的我。有一种特定的神经网络架构我认为它在每个人的家中以及AI助手里都占有一席之地，而我们需要消灭它并用更好的东西来取代它。 >> 我真的很喜欢现在你可以把任何东西都关联到AI上这一点。 >> 嗯，我想从……好吧，我们来聊聊Core Automation（核心自动化）。显然，像以前大家谈论Transformer那样

现在你们更像是“Transformer杀手”。嗯，请多告诉我们一些。嗯，因为Transformer如此成功，以至于AI研究人员可能变得自满并开始相信Transformer就是终点之路。我们能够将其规模扩大数个数量级，我们也看到了改进

也看到了新技能的出现，而我想稍微反主流文化一点，展示实际上有不同的方式可以排列你的神经元，不同的方式来在GPU上安排内存，这将产生更智能的模型和更好、更具鲁棒性的未来学习系统，这就是我们要做的。我对Transformer已经取得的一些成就感到非常高兴

对今天存在的AI助手我也非常高兴，但还有更好的技术有待构建，这就是我和我的公司着手要做的事情。 >> 嗯，我有太多问题了。第一点是我感觉Transformer的专长有点像……你知道，识别上下文或内容中哪部分更重要。所以那

可以说是它的专长所在，然后它还需要大量的训练数据之类的东西。所以对于你们来说，听起来好像不需要那么多数据？ >> 我们确实需要数据。数据是必要的。我们认为我们可以更高效地利用数据。虽然有一些倍数关系，但确实需要数据。而且我认为我想摆脱的最大东西是在某种程度上针对

特定产品，但更重要的是针对客户特定的微调（fine-tuning）。目前的大实验室正在购买海量数据，以便让模型擅长医疗领域、让律师用好它们、让程序员用好它们、让它们擅长对公司进行估值。 >> 而且我认为要求模型在一个地方就拥有对每种职业

以及它们需要做的所有事情的全面知识是不现实的。那我们在Core Automation想要做什么呢？我们要构建能够从用户数据中学习并在与用户协作过程中即时学习的模型。所以如果你是一家律师事务所，你不需要一定购买一个知道你公司所有案件细节的现成模型

而是可以与你一起学习，当你带着它并展示你真正关心的数据时，它会从中不断改进。所以像把更多的学习过程从实验室转移到实际的客户手中一样。嗯等等，呃，再说多一点。所以基本上我觉得现在像我们播客出来的大多数人都在谈论开放权重模型（open weight models）。所以本质上你是呃下载东西然后在你的数据库内部运行这些东西。

但嗯，你们和那有什么不同吗？ >> 首先最重要的是我们使用不同的算法。开放权重模型的问题在于微调很难、效率低下，这需要很多人力而且结果并不真正有保障也不是很好。 >> 所以你们保证结果？ >> 是的。而我们希望通过不同的架构我们可以

提供很多通过微调Transformer很难做到的事情，比如一方面你有神经网络另一方面有数据，这里有一个问题是如何将这些东西结合起来？微调是一种方法，可以说这种方法并不是很好 >> 而像我们正在构建替代方案我们认为将会会更好。嗯呃好吧所以我想谈谈

你想更多地谈论哪一部分，是关于人还是关于业务逻辑？因为我觉得显然让我们先聊聊人吧，因为你 guys obviously 雇佣了首席人力资源官比如前OpenEye的首席人力资源官她显然在Hudson Trading工作了超过15年，我相信她招募了像

大量的优秀人才然后上次我追踪你们的团队时大约是呃你知道16到20人左右 >> 目前是27人。 >> 好的哇。自上次互联网更新以来已经是27人了。嗯所以我在AI人才领域有太多的问题了。显然有一件事是呃现在的人才比过去值钱得多。嗯但现在像很多

决策实际上是由AI做出的为什么有些人比其他人在某些方面更有价值当你们思考人才规划时什么被认为是好的人才？所以你来自训练时代还是交易非时代而是像交易呃小队。所以为什么那是比你知道学习计算机科学的人更好的显著更好的人工智能人才？ >> 像我们当然非常关心多方面的人才，对吧？就像当你开始一个AI实验室时人才是你最重要的资源之一。而嗯我们想要建立的团队类型通常是一支能够非常快速移动并构建一些前沿系统的小队伍。我们通过自动化和智能体深度赋能人们所以我们可以我们能用

相当小的一支队伍构建很多东西但确实还是需要一定数量的人有时候我开玩笑说对于今天的模型来说人们充当着持续学习的代理在它们之上我们显然像你知道Julia已经是我们多年的密友了然后我们基本上决定一起创办这家公司而我关心的是如何建立团队和文化以及如何

工作。这就是我们正在做的事情，我认为我们非常具体地挑选每个人以履行特定的角色。我们不是简单地招聘我们认为不错且聪明的人。我们有使命要做，我们正在组建的团队几乎像是在挑选一支足球队。这个人在这个角色里，那个人在那个角色里，这就是我们的方式

我们正在思考，未来的公司运作方式将与今天截然不同。随着人工智能自动化程度的提高，许多过去劳动密集型的枯燥工作将由AI承担。关键问题在于：你需要多少被充分赋能的人类员工？如何将这些能以前所未有的速度工作的人，整合进一家能够交付宏大且艰巨使命的公司结构中？

你提到人才或公司结构会不同，具体会有多大差异呢？比如“背后有两把剑”的说法？你需要两把剑。一把用来对付怪物，另一把则是以防万一。

那么，未来的公司与今天有何不同？我认为未来的公司很大程度上将由AI运营。AI将处理流经公司的所有信息，提出所有的决策建议，并操作大量的软件和机械设施。那么人类在这个过程中的角色是什么？我最喜欢的未来图景是：人类主要设定公司资源要实现的目标，并听取AI的建议。但我更倾向于这样一个世界：我们牢牢掌控着方向盘，驾驭日益自动化的系统来实现我们的目标。

在我看来，这是一种潜在的未来形态：整个公司就像一个董事会会议，决定如何分配资源、做什么事，然后AI去执行。接着召开下一次会议评估结果并规划下一步。虽然这需要几个迭代过程才能完全实现，但我确实看到我们正缓慢而坚定地朝这个方向迈进。

另一个问题是，如今我个人在使用各种AI产品（比如你们的产品）。既然你们处于保密状态，那么除了尚未发布的产品外……你们内部使用什么？有自己开发的代码吗？

我们一直在更多地自行构建东西。虽然我们有内部代码，但我们已经开始使用Codex并持续了一段时间。我们在某种程度上正缓慢迁移到自有解决方案上。虽然最先进的模型非常出色，但基于模型的上一层仍有很大改进空间，以及如何有效使用AI的问题也在不断演变。Codex是一种对每个人都有用的通用工具，但在模型之上增加的价值有限。

我们构建了一些我们认为更灵活、赋予个人更多权力，并稍微针对我们要达成的目标和协作方式量身定制的东西。不过，我们目前主要使用的模型仍然是OpenAI的模型。

你觉得从OpenAI带走的文化或做事方式中，有哪些是你想带到新公司的？又有哪些是你们正在实施的新事物？

我最关心的一点是，当我创立这家新公司时，我带来的就是创新者的精神。OpenAI曾是一家拥有构建通用人工智能这一宏大梦想的公司。虽然起初并不清楚具体怎么做，但它对实现使命充满信念和自信。多年来，OpenAI每年都在取得突破性研究进展，并战略性地构建计算能力和团队以达成目标。如果没有OpenAI的存在，我们就不会有今天的AI。对于认为AI是世界积极力量的人来说，我们应该对此深表感激。因此，敢于拥有高抱负并专注于创新研究，是我想要带入新公司的核心精神。

由于时代和游戏规则已变，我认为像OpenAI这样的公司在今天可能无法重现（尽管在创立初期是可能的），因为格局已经改变。我试图汲取OpenAI优秀的研究文化，并加入我们自己的特色：由于我们正在对抗现有范式，且规模较小、资源较少，我们需要比过去的公司更具“草根”精神和紧迫感。

你们种子轮融资5.32亿美元，这感觉相对于……预算花在哪里？而且我相信英伟达也是你们的投资者。这笔钱是直接投给英伟达吗？

是的，我们主要用来购买市场上最好的GPU，并且要买很多。基本上就是直接买显卡。

除了办公室和零食外几乎不花其他钱？我们在办公室里花了一点，但没那么多。还有零食……我们的零食相当奇特且高档。

比如什么？咸三文鱼皮。这在亚洲很流行，我以前没吃过。我们曾有一个自动化订购和分发零食的代理（Agent），结果变得越来越奇怪……

哇，把这项重要任务交给AI代理处理。最重要的是，这本来就不该让人类花费大量时间去做。

关于商业模式呢？我觉得OpenAI（以及Anthropic的情况）有两方面：公司战略和商业模式。从新闻来看，OpenAI最初似乎是从面向消费者的产品起步的……

……变得像它所能达到的那样著名或流行。但后来，它变成了一个非常流行的消费级产品；而另一方面，Anthropic 则致力于构建一款强大的工作工具。我很好奇从商业角度来看，你们是如何在商业领域中定位自己的？既然我想你们……

我和许多来自不同 AI 公司的首席执行官聊过，他们说这是最后一批获得融资的基础模型公司了。你们对此有什么看法？还会有更多的 AI 实验室出现吗？为什么会有或不会有呢？

是的，我认为我们可能是最后一批成立的公司之一。这主要是因为 AI 的失控效应以及模型变得如此优秀，以至于初创公司很难赶上并进入竞争行列。

我认为初创企业存在并能获胜的原因有很多，主要是因为大公司效率低下且行动缓慢，无法适应快速变化的格局。而敏捷的参与者却能在此类环境中生存和发展。

未来几年，AI 将使得大公司能够迅速行动，因为它们不再受内部政治问题的困扰。它们只需直接调配资源即可推进 AI 项目。因此，我认为……

抱歉，我想我们可以继续深入探讨这个观点。是的，就像这样……好的，我们刚才谈到的是关于……

那需要大量的资源来支持。继续说下去吧，抱歉。是的，故事是这样的：我认为 AI 驱动的效率将很可能使大公司能够以更快的速度进行竞争。

在某种程度上，如果未来是一个没有工作和劳动力的世界，很难想象初创公司究竟会是什么样子。可能仍会有一些风险承担行为发生，但我认为情况会有所不同，而且很难准确预测未来的样子。

不过，我们主要专注于构建什么样的模型以及我们在建设什么？是那些能为你工作的模型。Core Automation 并不感兴趣于构建你的朋友或你的心理治疗师。

它是那种你告诉它你想让它做什么，它就为你完成工作的模型。它在你在意的任务上生成价值，并完成你想要做的所有工作。

我们甚至不想构建那种开箱即用、无所不知的模型。相反，你需要像培训新员工一样去“引导”它：你把这个模型拿来，展示给它看：“这就是我的房子长什么样”，“这是我的电脑界面”，“这是数据的样子”。

我会向你展示几次，然后我就期望你开始为我做这些事。

你说 Core Automation 是否会成为一种代理（Agent）的替代品吗？这确实旨在成为一个代理，但我认为它与现有代理的体验会有所不同。

如果这个代理能在一段时间内真正适应你，那么它会变得更加个性化。

你喜欢我收到的由 Instinct 发送的邮件吗？不喜欢。它够个性化了吗？没有，我没有太在意。

好吧，所以我很好奇：目前市面上的代理 landscape 是什么样的——现在每个人似乎都有五个代理（无论是 Rockbot 还是其他你最喜欢的代理），那么它们与 Core Automation 的核心区别是什么？

是的，我认为当前所有个性化处理都发生在上下文（context）中。通常你会有一个系统提示词（system message），你可以稍微指定一些内容，然后放入一些记忆文件供模型偶尔使用。

这是很棒的，这也是当今系统的工作方式。但有一点是：这些代理并没有以有意义的方式学习新技能。如果某个代理现在难以完成某项任务，除非 Anthropic、OpenAI 或 Kimi（为了完整性提及）发布新模型，否则它不会自我改进。

而且，对于那些很难用语言描述的事情，代理往往处理得不好。任何提示过模型的人都知道并理解这一点：并非所有事情都很容易描述。你可以尝试通过系统消息来引导模型走向特定方向，但这往往令人沮丧多于成功。

有时你会想：“也许我可以展示给他们看”，或者“告诉他们少做一点这个，多做一点那个”。但这种更新应该发生在一个能从你身上学习的模型中。它会自然而然地发生。

该模型将与你协作，并在第二天稍微更好地理解你的上下文需求，即使你表达得含糊不清或不完整。目前的模型在这方面能力非常有限，因为它们自我更新的能力很弱。

那么当模型进行更新时……目前它是基于输入的数据进行的，而现在每家公司都在向自己的模型注入数据。我想问的是：在 Core Automation 代理时代，格式会发生显著变化吗？

你是否设想了某些特定的用例会产生巨大的差异？我思考得最多的是公司如何运营的问题。

我们如何将公司带到一个新阶段，让人类介入并开展工作？也许在个别地方得到代理的一些帮助。但我们越来越多地听到许多公司甚至很难找到那些让代理真正有用的场景，以及如何将这些转化为生产力。

这些场景主要由 AI 工作和代理劳动力驱动，我们将这些地方视为资源分配的场所，而非传统的劳动场所。

那么说到收费模式：现在人们采用基于使用量的计费方式，有些人甚至开始取代不同劳动力中的人类。你觉得这一方面会发生变化吗？

对于那些收听我们节目或关注 LinkedIn 的观众来说，他们有时在寻找 AI 行业的工作机会。这对他们意味着什么？人们是否会从事显著不同的工作……

或者说，你知道的……嗯，显然大家可能在做饭或者做其他事情。但我确实认为我们正走向一个我称之为“后劳动社会”的未来。>> 好的，未来也许并不一定…… >> 就像水一样，对，比如我有时想象生活像高中时期。那是人生中一段不需要真正工作的时光，你不必创造价值……

大部分时间都在学习和与朋友闲逛。如果我想象一下如果完全没有任何义务，生活会是什么样子…… >> 比我经历的高中要好得多，我当时在做作业。如果你愿意的话，你还是可以做作业的。>> 嗯…… >> 我绝对是个有点反作业的人。>> 你是个反作业者？>> 对，我不太喜欢做作业。

是的，你看起来两分钟就能写完作业，然后别人就会抄你的。 >> 我通常早上做，但嗯……我不喜欢把时间花在家里做作业上。那么人们喜欢什么？也就是说，什么样的工作会被最快取代呢？真的很难说。我认为各种类型的工作会逐渐被取代……

就像当我们看今天的就业市场，程序员这个工作真的被取代了吗？我不这么认为。但它已经被彻底改变了。每个初级工程师、每位工程师都能比以前更快、以不同的方式编写代码。有一整群人几乎完全停止阅读代码了，在很多方面都是如此……

所以这个职业变了，其动态也变了。我认为这也影响了就业市场，但我不认为有什么工作被完全取代了。我想，如果真的有替代发生……我认为会同时发生在所有地方，而不是一个工作比另一个更快被取代。一旦有了部分自动化……

你通常仍然需要人在岗位上，并且你需要保持这种只有人类才能提供的监督水平和上下文理解能力。但一旦我们实现了能为你完成工作的技术，我认为它会同时 everywhere 发生。而且我觉得这在某种程度上对社会更好……

因为我们不会陷入这种奇怪的世界，比如“哦，一个工作自动化了，另一个没有”，我们该如何……如何在这种情境下导航？ >> 嗯，基本上所有工作会同时被自动化。这就是结论……不是完全自动化，而是像某个程度…… >> 对，物理层面是一个方面。

我觉得最大的分歧在于可以在电脑上完成的工作和真正需要肌肉力量、移动物品的工作之间。这大概是一个巨大的鸿沟，我想象着……每个做硬件的人都明白机器人需要更长时间才能普及。但与此同时，由于该领域有大量投资和工作投入……

这也终将发生。 >> 当你考虑商业层面时，比如现在……我觉得每次我和创始人聊天，大家的观点通常是：你得先和客户聊。了解客户是谁、你的目标用户是……我想是企业，还是其他研究人员？你怎么看待创收方面？

毕竟你们是个实验室，相比……你知道的，产生收入可能需要很长时间。 >> 嗯，你对于构建公司的思路是怎样的？你在追逐什么样的势头来筹集下一轮融资或做其他事情？ >> 首先，我们是一家研究公司。因此主要致力于在考虑商业化之前交付突破性技术……

我不想参与现有的代理市场，即训练和部署 Transformer 模型。这不是我们最初的目标。所以首先我们需要构建我们要做的东西，然后才能将其部署到世界。但我主要考虑的是企业客户，以及那些有兴趣并愿意进行内部转型……

将业务逐渐转向更自动化方式的公司。同样，这将是渐进的、一步步来的。但企业已经在各种职能角色中使用代理进行尝试了……

我想通过我们的不同技术，为他们提供比现有设置更适合其用例的东西。而我理想的收费方式是按机架（per rack）计算。我想很多企业喜欢拥有本地硬件……你知道的，我会说这是像 Nvidia 的 GB300 和 VL70 机架……

你可以把它放在你的数据中心里，我们部署 Core Automation 软件。该软件将从你们的数据中学习，并执行你公司所需的所有业务功能……这就是我们想要做的。而且我认为按 token 收费在某些情况下可能合理，但也经常……

用户很在意使用情况，按 token 突然让你感觉…… >> 分享 >> 抱歉我们在直播。天哪，我的错。我不知道这个……我是说我们只是偶尔租这个地方吃晚饭，所以通常这类事情不会困扰我们。但今天……

一切都在发生，这使得节目非常多样化 >> 我们只是偶尔被打断 >> 抱歉好的所以…… >> 这没关系 >> 对，按机架，那个机架 >> 就像按机架一样。是的，按机架构建模型……基本上是你购买自己的硬件和容量……

只为你服务。因为模型是定制化的，那个机架拥有记忆（memory），该记忆整合了你们业务的数据并用于你们的用途。你知道你的数据不会离开你的系统……它不会被发送到某个你从未听说过的其他公司，那很难让人信任。

所以我认为这是未来的一种好商业模式。归根结底，算力驱动一切……我们想成为 Nvidia 芯片之上的一层额外辅助，帮助你实现业务目标。 >> 让我们谈谈 Nvidia。显然你们与 Nvidia 有着良好的关系……

有些人既是投资者又是客户。那么你如何看待 Nvidia 这一层？显然，我们播客中也有几个人……正在构建 Nvidia Slayer。我当然知道 Nvidia 仍然是像……

市场最大的供应商之一，比如像英伟达。那么你对行业内其他这类玩家有什么看法？他们对于GPU的方法论是怎样的，以及你认为是否应该将解决方案扩展到更多领域呢？

是的。这是一个很好的问题。首先且最重要的是，至少在今天看来，英伟达制造了市场上最好的训练芯片，这也是我们非常乐意与他们合作的原因。虽然有许多公司试图在硬件市场展开竞争，但我很难预测最终结果会如何发展。毕竟我不是硬件市场的专家。我总是很高兴能使用当天最好的硬件，并确保我们的模型能在其中运行良好。

我们之所以没有选择自建硬件是有原因的。我们愿意设计和开发所有的深度学习栈以及训练模型的各种方法，但在硬件层面上我们是起步较晚的。因此我们采用现有的芯片，目标是尝试弄清楚如何以最大的学习能力在现有硬件上开发出最好的模型。这些硬件主要是为了极其快速地执行矩阵乘法而构建的。

作为CEO，你日常的工作与作为一名研究人员有何不同？我假设你会很享受研究工作吧。

我非常喜欢研究，这是我做的事情中最喜欢的之一。显然，作为CEO并建立自己的公司需要处理很多其他事情。比如你需要为公司筹集资金，需要进行一些对外的工作，能够讲述你的故事并向其他人解释清楚。毕竟当今的AI公司并不是孤立存在的，如何融入生态系统以及与其他公司的关系也非常重要。此外还有很多运营层面的事情需要处理。当你是一家公司的CEO时，所有问题都是你的问题，所有责任都归你承担。研究只是我最关心的事情之一，但我每天还有很多其他头疼的事情和其他需要担心的事务，这些都超出了研究的范畴。

但从某种意义上说，尝试设计你想要构建的东西——也就是这种新型模型，然后将其带给世界，这是一件极具赋能作用的事情。我们生活的现实是，创办一家新公司是实现某些技术目标的最好方式之一。公司不仅仅是模型或训练过程，而是所有需要协同工作的要素集合体；它是一个需要良好运作的有机整体。这就是我们正在做的事情。

是什么在激励着你？我知道你听过很多播客，但我不知道你是否分享过从波兰来的故事。你是如何成长的？是否一直知道自己想成为企业家呢？显然你有着很棒的交易职业生涯，并乘着AI的浪潮前行。那么是什么让你乐在其中？你认为自己作为创始人的“不公平优势”是什么？

是的。我认为在很大程度上，驱动我的主要是构建技术的热情。对我来说，这就是让我起床并想要做事的动力。我特别喜欢解决非AI领域的“新世界”问题……但我非常享受使用科学和工程手段构建事物并解决问题。这就是我日常所做并希望度过每一天的事情。至于其他问题，即我在世界中的何种配置下做这些事……我一生中时不时地思考过成为企业家。这通常是一个时机问题：现在是合适的时机吗？我有正确的想法吗？世界准备好接受我想做的事情了吗？

“世界还没准备好，但很快就会准备好了。”

没错。确实如此。我在大学时并没有真正有一个创办公司的想法，后来成立的那家公司也不算很好，因为它主要是为了制作个性化和互动的数学学习材料。那是我的第一个互动式数学产品……听起来有点像芯片？

没错，某种程度上从事AI和芯片的工作帮助我意识到了这一点。我认为这挺不错的。回想起来，当时并不是一个很好的时机，也没有非常好的时刻适合这个想法。而在今天，可能只需要几个小时的“氛围编程”，你就能拥有一个原型的精确版本……你刚才提到了任期制？

没错。时机非常难以把握，也是创办公司时最重要的因素之一。“现在是否是构建我想建公司的正确时机”这个问题极其关键。你不想太早，也不想太晚……就像问你是否处于正确的时机？

我认为是的。是的，这就是我决定这样做的原因。我当时认为创办我想做的这类公司的窗口期其实非常短。所以我没有太多时间犹豫不决。

首要原因是你需要智能体（Agents）足够优秀，才能在没有它们的情况下启动项目。创办一个AI实验室是一个非常缓慢的过程，需要大量时间。如果你看看那些一两年前开始的Neolabs（新型AI实验室），它们起初是以冰川般的速度推进的。你需要完成的系统数量以及需要构建的工作量都非常巨大。借助现代AI解决方案，我们可能将两年的工作压缩到三个月内完成。现在能移动的速度比以往任何时候都快得多，这真是令人惊叹。

第二点是从竞争角度来看，你不想太晚入场，以免别人已经在某些我们正在进行的研究中取得了相当大的进展。我认为我们在寻找一种不同于Transformer、在智能体工作负载下优于Transformer的方案方面处于领先地位。但最终其他公司也会尝试提出相同的问题。它们现在可能仍然忙于训练Transformer，但这肯定会改变。

你认识Rohan吗？>> 呃，我 >> 从我们的节目中插播。就像Roan一样，让我们看看我们的主题，我的联合创始人，伟大的科学家和深度学习的热情倡导者。当我试图为那家公司组建团队时，你可以想象你给那些你大致认识并了解其研究的人打电话：“嘿，我正在组建一个团队，这就是我们要做的，你加入还是不？”而Rohan就是那些接电话并回答说“Jerry，我加入”的人之一。>> 哦哇，哦，好像没人拒绝？我是说，肯定有人说不吗？不 >> 确实有些人拒绝了。而且你知道我们决定加入的人的比例随时间波动，但在早期我们的成功率相当高。>> 你认为是什么让人们加入你们？是因为你们在解决世界级的 >> 世界级的问题，对吧？>> 是的。至少有一点我们很擅长招聘优秀的研究人员，因为我们是一家既有雄心勃勃的研究计划去解决新的有趣问题，又能很好地阐述这些目标的公司。对于那些在我们旅程中走得足够远的人以及对于其他角色来说，我们与其它公司略有不同：在Core Automation，如果你从事系统或数据工作，主要故事是你将尽可能以AI化的方式开发这些东西，使用大量的自动化。你将努力成为一个能完成其他团队工作量的人 >> 这就是我们的优势所在。>> 根据Twitter，我不认为你现在喜欢“评估”（evals）。>> 是的。我认为评估主要引导你走向好心眼和过于狭隘的思考方式。“eval”这个词有点像广告，所以你只是挑选 >> 你擅长的那些评估指标。>> 这些评估中几乎没有信号价值。任何发布模型的人都说“我们在那些evals上表现很好”，他们挑拣数据并呈现他们的模型很优秀，但这些模型的真正市场价值与基准测试所说的截然不同。因为这些是公开的 >> 每个人都试图看起来很好，模型之间存在更深层的差异，不幸的是因为没有真正好的方法来评估人们尝试所有这些不同的模型并试图弄清楚至少那些愿意投入精力的人，而不愿花费精力的人就直接采用最流行的模型然后跑掉。但我认为这甚至不是思考模型的很好方式，关于evals它有点过时了，那是模型冻结且部署后不再真正有意义地学习时的时代。所以如果你拿一个现成的GPT，它有一些evals分数因为那是它的训练内容，但如果模型可以学习那么那些eval >> 评分明天就会不同甚至可能每分钟都变。>> 你怎么知道你的东西是否有效？ >> 嗯，我知道我测试它。我尝试它。>> 你尝试它 >> 理想情况下是在我们正在进行的工作上。如果模型为我做了我想做的事那么我很高兴。如果没有那就不行。（开玩笑的。）>> 嗯，当你思考如何建立一个成功的实验室和公司时。让我们谈谈研究人员吧，谁是好的研究人员？显然我在研究界做过一些事情，我认为在市场或创业领域中人们试图从OpenAI或Anthropic等地方招聘人员。但现在每个人的头衔都是技术团队成员，现在还有非技术团队成员。那么你如何看待谁是合适的人选？显然人们发表研究论文，你如何识别谁是最合适的匹配者？然后你提到组建自己的团队，人们有不同的职能。哪些职能通常最难招聘 vs 最容易填补？>> 我认为没有那么多差异。这主要是特定时机和你网络中谁在的角色之间的交集，或者谁更热情。但在实验室里你需要填补多种角色，世界上当然有人在做这些工作。问题是有没有具备正确技能组合的人特别是现在对你公司正在做的事情感兴趣。我认为使研究人员变得优秀的一点是，他们理解自己在做什么、在研究什么。这大概是初级研究员和高级研究员之间最大的区别：你花在深入思考所选题目上的时间越多，随着时间推移你对神经网络及其训练动力学的把握和心智理解就会越好。你通常希望招聘那些避免群体思维、不盲目追随趋势的人。>> 所以很难做到？ >> 这确实困难，但这就是你特别想要的研究人员特质：那些只思考别人正在思考的研究人员并不是很有用。因为研究是关于解决未解决的问题并尝试超越当前方法 >> 这在当今世界有点棘手， stakes（利害关系）非常高且公司间的动态关系如此。但在我看来这是成功的必要条件。最后但同样重要的是，最成功的研究人员通常很好地理解系统并熟悉GPU因为归根结底这是我们工作的基础也是深度学习产生的层面。我们需要能够将我们对正在训练的神经元的见解与我们执行的数学模型相结合，并找到良好的中间地带。那么当你评估研究人员时，研究人员的日常工作是什么样的？你如何为每个人的研究设置里程碑（我不说是基准测试）因为我觉得研究人员喜欢它听起来像是有点像

人们正在为各种问题创建解决方案，并进行大量测试。那么，设计一个新方案需要多久才算太久？你是基于某些特定功能来判断吗？还是说，你如何知道人们实际上在事情上的表现呢？是的。确实如此。某种程度上，研究人员在公司或实验室中最重要的特质是：他们是否会在问题上卡住？这大概是研究员最常见的失败案例。面对一个问题，如果他们不知道如何解决，却不断做着无法推动进展的事情，那就麻烦了。

如果在没有获得任何新知识或新洞察的情况下被困在原地太久，那将毫无进展可言。我见过许多团队或个人停滞不前，就像在跑步机上奔跑却无法前进一样。优秀的研究员会很快尝试理解：我是否有办法至少推进我对某事的认知？有哪些问题是我可以弄清楚的？即使问题非常困难且看似遥不可及，通常也需要找到通往下一步的方法。

你需要确保自己正在取得进展。我认为这对研究员来说非常重要，对我而言关键问题是：从事工作的人是否定期增加对研究对象的理解？如果做到了这一点就已经相当不错了。另外一点是不要想得太小，要具备判断方向的能力——今天往哪走？明天又该去哪？他们是否擅长解读数据，并在某种程度上保持足够的怀疑精神而不被欺骗。

随机性也曾迷惑过许多人。这种能力源于经验，是一项需要习得的技能。通常当人们结合这些特质时，往往会取得相当的成功。目前机器学习是一个极具成果的地方。如果你聪明、有好同事相伴且拥有足够的GPU，你几乎肯定能发现一些此前未被发现的、极具价值的事物。

我们可以谈谈人才格局吗？最好的研究员是否都集中在那些大型实验室里？是否存在人们忽视的领域，或者你们直接从所有顶尖学校招聘人才？你如何看待经验与学术背景的关系？比如技术领域的学术经验、工作经验， versus 那些完全没有经验但确实是顶级编码高手的人。是的。我认为没有人垄断人才。

这是一个有趣的观点，我们并不拥有人才的垄断权。我也认为没人能垄断人才。我认为人才具有自然分散的特性。前沿实验室（Frontier Labs）肯定在某个时刻成为了最优秀人才的聚集地，有时你甚至不确定这些人是因为自身卓越还是仅仅因为处于好的时机和地点。但毫无疑问，在那里的人们构建了令人惊叹的成果并取得了巨大成就。

然而许多人会同意我的观点：随着成长和时间推移，至少大型公司的人才密度略有下降。更糟糕的是它们在各方面变得略微官僚化，这降低了公司的能动性（Agency）。当公司规模较小时，个人更容易取得巨大的成果；公司越大，团队和结构越复杂，就越难实现这一点。这就是人才会略微分散的原因。

许多人开始创业或加入初创公司，尝试做类似的事情。我认为并非只有一两家初创公司拥有最好的人才，事实恰恰相反：几乎每家初创公司都有几位曾经取得过成就、显然非常优秀的人。他们正在组建自己的团队，试图押注新一代研究员来驱动初创公司的发展。

我认为在基础层面上，人才在整个系统中分布得相对均匀。当然，有些公司的人才密度稍低，有些则较高。但极具才华的人总是寻求那些能让他们用有限的生命和脑力实现最大价值的地方，这对许多人来说是一种优化函数。

你的实验室是否有设定的不同里程碑？因为我认为Anthropic和OpenAI是第一批有望IPO的实验室，显然它们比其他公司更快地实现了这一目标。不过我不说“更短”，因为OpenAI始于七八年前，而现在像Stripe这样的公司IPO耗时极长。显然，实现这一地位的时间范围差异很大。

目前我认为达到3亿美元ARR（年度经常性收入）左右才算实现这一地位，我相信未来十年这个标准会发生变化。在你的心中，是否有不同的目标时间表？比如你认为我们会花三年时间专注于X（例如开发最佳模型和实验室，完善技术），然后再花三年时间关注GM（无论是创建消费者版本的产品还是其他方面）。

那么，你是否有非常具体的总体计划？

你现在正在实施日常事务，然后你会看到发生了什么。我确信可能也有公司试图在某个时刻收购你们，也许是昨天？我不知道，但嗯……是的。我认为我们有一个相当精确的内部路线图，但同时，这并不是我们会公开谈论的事情——我们现在在做什么，以及我们希望在今年年底之前实现什么。这些事情我们已经设定好了，我们也知道我们在构建公司方面要去往哪里。

我认为 Anthropic 取得了令人难以置信的成就，在五年内建立了一家万亿美元市值的公司。许多人现在正在寻找他们的投资者材料时指出，他们可能是资本主义历史上最高效的扩张公司，这确实是一件大事，毫无疑问是一项成就。但我认为我们生活在一个加速的指数曲线上。所以我相信会有下一家公司，它将更加高效，扩张速度更快。我相信会有一家下一家公司——可能已经开始了——将在三年内成为一家万亿美元市值的公司。

你知道这些人是谁吗？>> 哪一>> 我是说这些公司的下一代 >> Core Automation。我们有一些，但让我们看看未来会如何发展。但我认为至少其中一家公司将会……嗯，所以我希望注意时间，也许我们做一个真正的问题。所以一个真实的问题是，鉴于今天的 AI 情况……你对 AI 了解多少？你认为在 AI 领域中哪种技术最被低估了？

一般来说，网络架构和研究。我认为它被严重低估了。人们忘记了一段时间，但它将会回归。它会像加密货币一样卷土重来。你不相信加密货币吗？我只是开玩笑的。嗯，好的。快问快答环节给你。你最喜欢的书是什么？>> 《猎魔人》（Witcher）。 >> 不会吧。什么？好吧。 >> 你刚才说了快问快答。所以，我说的第一个想到的东西。 >> 呃，我不敢相信你看的是书。 >> 我看了那本书。显然，我看了一本书。

嗯，你会邀请谁参加晚宴？ >> 巴拉克·奥巴马（Barack Obama）。嗯，谁对你的职业生涯影响最大？>> 好问题。可能是某个老家伙吧。 >> 你在下班后哪里可以找到你？ >> 在哪里可以找到你，除了工作之外？>> 呃，在家里。我不做很多事情。我只是工作和花时间陪伴家人。 >> 真棒。嗯，杰里（Jerry），非常感谢你今天来到这个节目。这是一次非常愉快的对话。 >> 谢谢。很高兴来到这里。让我……我想阿（Aar）会为我们结束这次对话，因为 >> 等等，我在确切的时间点……