好的,我们到了这里。我在后台跟他们打过招呼,说明我们要从这个话题开始这场演讲,因为我知道大家有很多关于OpenAI的问题,也有很多关于产品开发未来的问题。但我想谈谈的是……你想谈什么,克莱尔?那个开关(Toggle)。我想谈谈这样一个事实:每个AI产品都有两面性。它有左边的开关和右边的开关。今天有很多关于迭代式产品开发的讨论,以及发布不完美的东西并将它们推向市场的话题。所以塔拉,我想请你谈谈如何发布不完美的产品而不是依赖那个开关,以及你们是如何做出决策的——即把那些现在可能并不完美、但最终对于构建正确产品来说是正确的东西推向市场。
当然,我首先要说的是,作为亚裔父母的女儿,我不习惯做不完美的事情。你知道的,你必须每次都输出完美的结果。我也在Stripe工作了大概七年多,那里的每一件事都打磨得极其精致且深思熟虑。你会反复思考一百次:是否考虑周全了?这个枚举类型(enum)的名字是否取到了最精确的程度?我认为在这个时代发布产品,最大的变化其实是紧迫感确实很重要。将功能推出去至关重要。虽然你可以在发布前做很多理论上的推演,但没有任何东西能比得上看到用户实际尝试、使用它所带来的真实实证证据。
因此,我真的必须转变我的思维模式:从“如何预先做到完美”转变为“如何尽快有效地发布产品并进行迭代”。关于那个开关,它是完美的解决方案吗?不,它是一个不完美的方案。它肯定不是理想的发布形式。但真正重要的是,让超过十亿使用ChatGPT的用户能够掌握这种代理式框架(agentic harness),或者说,让代理人去完成任务的能力。我们需要发布一些东西来实现这一点,同时又不破坏开发者现有的工作流程……尽管这是一个不完美的方案。
你知道的,我相信也许一年后,我们不会再就这种挣扎进行同样的对话了。以前我们也聊过这个话题:现在你必须构建很多东西,然后扔掉很多代码或产品。我很好奇你是如何决定哪些应该废弃、哪些应该保留并继续发展的?那个开关就是一个很好的例子。我认为有一个显而易见的下一步,那就是“没有开关”,对吧?就像故事从步骤A发展到步骤B。如果你能带领用户一起经历这个过程,他们对这种变化、转折和产品演进的接受度会高得多。
特别是如果他们能够理解并看到一些透明度,了解幕后到底发生了什么的话。所以我认为,只要有一个连贯的故事让用户能够跟随,并且考虑到他们投入的注意力……其实你可以做很多事情,而不会真正与他们断绝关系或失去信任。是的。我很好奇,虽然那个开关可能并不完美,我们可能会构建很多最终需要扔掉的东西,但在你工作过或即将工作的产品中,你是否依然保持着良好的判断力、谨慎和理性?
在如此快速推进的产品构建中,你坚守哪些约束条件?是什么让你保持着高质量的标准?我认为有几个不同的要素。首先当然是我们是否为用户增加了价值?比如,我们是否在解锁额外的价值?这个产品中是否有真正有用的东西?其次,我们要面对内部的高标准:将产品发布到内部进行试用,让每个人都在用。如果内部的采用率不够高……这并不是一个具体的数字或精确的门槛,但它确实存在:人们是否很好地保留了它?用户是否在体验中发现了令人愉悦或惊喜的地方?
它是否为模型解锁了新的用例吗?比如,它在做一些新颖的事情。我认为那种感觉是:这增加了他们的体验,这是解锁了一组新功能的东西。然后,在这个时代可能最重要的是瞄准未来2到3个月模型能力的目标,而不是过度锚定在当下或过于超前导致无法使用。这是否处于那个完美的区间?我不知道该称之为“足够具有AGI潜力”,我认为这就是这里的标准。所以,它是否有价值?用户是否关心它?对用户来说是否是惊喜般的出色?
并且是否与模型能力保持一致?以及它是否在阻碍模型发挥其最佳水平方面做得很好?南,你呢?你认为哪些约束条件有助于你构建伟大的产品?最大的约束……说实话,是人们的理解能力和吸收你所给予他们的东西的能力。我们经常谈论“能力过剩”(capability overhang),但模型能做很多事情,而人们并不一定充分利用所有这些能力。我认为这就是差距所在。
所以,无论你投入什么,如果用户吸收这些变化和能力的潜力不存在的话,那才是你真正面对的那种边界过程。你知道的,我们现在正在谈论你们俩在做的编解码器和相关工作。有很多企业用户,包括我自己,都是依靠这个工具建立业务的。我在企业服务领域花了一分半钟的时间(意指短暂经历),很多人说B2B客户无法吸收变化。客服告诉我他们不能,销售也告诉我他们不能……我们似乎无法跟上这种变化的速度。
你觉得在AI时代这个说法仍然成立吗?还是说你现在觉得这句话已经过时了?其中一部分确实是真的,因为我认为当前的速度……对于大多数企业来说可能感觉超出了“破纪录”(breakneck)的程度,甚至超越了极限。像是一场功能的狂欢节……笑声 确实可能让一些人感到不知所措。但与此同时,如果你不发布这些产品的话……
如果无法将这些最新且处于前沿的技术提供给企业,最终会被超越。一个很好的例子是,我们的大多数企业客户当时主要在使用聊天功能,也就是简单地提问并获取答案。然而,与此同时,“智能体革命”正在发生,我们需要尽可能快地将智能体推向这些企业,否则他们可能会考虑替代产品。尽管他们在日常吸收变化的节奏上可能较为缓慢,但我们必须推出这一巨大的变革性更新,打破他们所有的流程以及关于企业应如何接收新更新的固有观念,从而真正释放更多价值。
这是产品开发中的一条真理:做用户需要的东西,而不是他们声称自己需要的东西。我认为这一点在此时此刻比以往任何时候都更为适用。既然你提到了智能体,我想谈谈这个话题,因为我确实认为我们正处于“智能体时代”,我也已经在这个领域沉浸了一段时间。我想和你进行一场辩论,或者至少听听你的意见——也许我们最终会达成一致:究竟是一体化智能体好,还是多身份智能体更好?
是我那台电脑上整天对话的、我深爱的编码助手,还是我那40个在业务不同部分承担关键任务的Grok机器人?我认为作为产品构建者,特别是那些正在开发智能体的人,我们正目睹着这种分歧:我们是应该集中打造一个通用的、什么都能做的单一智能体身份,让模型退居幕后;还是像工匠一样精心打造专用的微型智能体来各司其职?
我很好奇,带着全新的视角,从设计原则的角度来看,你在这个光谱上的立场是什么?我认为在设计这类产品时,最成功的努力都试图映射人性。毕竟,人类拥有数百万年的进化历史,这帮助我们理解如何在脑海中处理不同的事物。40个智能体确实太多了。如果你问任何人是否愿意管理40名直接下属,也许像黄仁勋这样的人可以做到,但很多人会表示怀疑,不确定自己能否跟上这么多并行的事务。
因此,我们需要将这些事物分组为活动束。如果你问人们如何管理他们的智能体,通常听到的回答是:“首先我有一个幕僚长智能体帮我管理其他所有智能体。”这就像是你作弊了——你不是在管理七个,而是在管理一个运行整个团队的“人”。我认为这种动态一旦人们开始做这类事情,就会立即浮现出来。
那你呢?你怎么看?这当然包含哲学元素:是拥有一个统一的实体,还是多个较小的实体?但实际上有很多战术性问题需要考虑,比如数据访问和权限。如果只有一个实体,它是通过切换服务账户还是个人账户来运作?如何以易于理解的方式向用户展示这一点?如果只有一个智能体,它是否有分段记忆?每次加入私有Slack频道时,它是否几乎变成了一个不同的智能体,就像电影《撕裂的末日》(Severance)中的那种切断感?
对我而言,回答这个问题回到了具体的用例上。我们需要仔细思考所有边缘情况:记忆应该如何表现?它应如何与每个人交谈?是使用用户的凭证还是通用的一组凭证?虽然这个话题上可以有各种哲学观点,但对我来说,这里有太多实际的产品考量。用例在决定这一点时至关重要。
我喜欢这两个答案所揭示的内容,我认为对于包括设计师在内的所有产品人员来说,我们的手艺有两面性。一面是非常人性化的部分:如何进入用户的思维,理解他们的心理模型、他们与世界的交互方式,以及我们的产品以何种最自然的方式触及并解决他们的问题。
另一面则是系统和架构思维:为了现实地将此呈现于世,我需要思考所有的系统、平台组件和边缘情况,以确保全面性,从而能够以合理的方式将产品交付给用户。你认为设计并构建出色的智能体需要这两种技能吗?在设计或思考代理体验时,你是否觉得现在比以往任何时候都更依赖其他硬技能?
你描述的正是系统思维加上用户同理心。这些是非常经典的产品管理理念,以前我们将其应用于不同的技术领域。但现在我们必须从零开始,基于那些原则重新思考产品应如何塑造形态。我认为这些非常重要,但最终它们只是旧原则的伪装。
我想补充一点:我曾就职于Stripe那家极具学术氛围的公司,我的父母也是学者,我喜欢抽象地思考这些问题。但我认为除了用户同理心和系统思维之外,你还需要一种 relentless(不懈)的精神去尝试和迭代。在这个过程中你会经历很多痛苦,有一种不断尝试、再尝试直到看到什么有效的心态。
以及从反馈循环中学习的能力。这当然一直都很必要,只是时钟速度大大加快了。是的,你总是在不断地尝试各种可能性(像把意大利面甩到墙上看看哪块能粘住)。实际上,你的幕僚……
员工代理正在告诉所有其他代理把意大利面扔在墙上。>> 你知道,谈到系统思维和平台,我真的很好奇,因为我们都着眼于工具,当然包括你们为生产力和效率构建的那些。我在后台跟某人说过,我现在超级喜欢计算机使用功能。别给我提 MCP 了,我想直接把“计算机使用”指向你的用户界面。
然后你知道的,我不在乎令牌的问题。别恭喜我卖了那么多令牌给我。嗯,但我思考的是我们过去的工具和现在的工具之间的交集是什么,你们构建了什么,为平台化了什么。我很想知道在试图让人们在工作中提高生产力时,你是如何看待更广泛的生态系统的?所以我想我们思考了很多关于平台的问题。
ChatGPT 作为一个平台,哪些功能是原生内置在平台里的?哪些功能是我们允许人们构建的,无论是第一方还是第三方作为插件,或者是建立在之上的额外接口?这大概就是它与生态系统关联的方式。所以在该平台中,我们需要向第三方应用(如会议软件)暴露哪些挂钩点,以便它能最有效地服务于你使用编解码器、通过计算机使用功能以及利用所有这些工具的场景?
但我认为这并非非黑即白,不是决定什么应该在我们的平台或生产力系统中,而应该在某个应用中。我认为我们应该提供一系列不同的工具,比如一个插件来获取你所有的会议数据并理解你需要做的下一步。但如果这不起作用且这些系统接口不佳,那么总有“计算机使用”作为下一层或回退方案。
也就是说,如果用户想完成某项任务,而预构建的工具或生态系统工具不可用,他们总有其他东西可以回退。所以我认为这更多是关于在平台中以分层方式构建这些能力,将其作为挂钩集暴露给第三方和第一方开发者进行接入并构建连贯的体验。拥有正确的系统使这些体验能够相互组合,并最终服务于用户的目标。
当人们试图完成任务时,如果第一层不起作用,还有第二层让他们能够完成目标。你怎么看待那种集成式的体验?是“在一个平台内搞定一切,让我们住在自己的房子里”,还是扩展到这个生态系统?你是如何构建的?我的意思是,我在听你说话时在想:你在一个非确定性模型之上,通过自然语言接口功能性地操作一台能点击和执行任何操作的计算机。
你还要与第三方工具和集成协作,而这些是你无法控制的,同时你还在试图构建一个全面的、高质量的、品牌良好且备受喜爱的体验。作为一个产品负责人,你如何攀登这座大山?你有什么锦囊妙计要带来帮助我们吗?>> 呃,看,我不知道这是否是一个新颖或独特的观点。
但完成所有工作和只完成了除最后一步之外的所有工作之间,有着巨大的差异。说实话,“最后一公里”的感觉有时比完全无法启动还要糟糕。如果是完全无法启动,你可以直接看:“好吧,我自己做吧”或者“我试试另一条路”。但如果它完成了 99%,然后突然崩溃吐出一堆错误,那你就会觉得:“好吧,这实际上是一种更糟糕的、未兑现的承诺。”
我认为“计算机使用”很多时候让人感觉很好的地方在于,它总是能行得通。对吧?它可能有点慢,或者像你说的花费很多令牌,但它确实能把工作从头到尾做完。而且随着生态系统慢慢赶上——提供正确的挂钩点和 MCP 等东西——它将百分之百为你完成任务。
我认为最终正是这一点让它感觉超级棒。在所有这些复杂性和变化中——生态系统、界面、模型本身,以及像计算机使用这样的工具带来的不可预测性——正确的体验是让用户几乎感觉到查尔斯·埃姆斯的那句名言所说的:你的用户应该感觉像是你家里的客人,你已经预判了他们想要做的一切并温柔地为他们提供了。
我们的用户在我们的应用中是否也应该感觉到我们预判了他们的需求?在某种程度上,这就像模型越来越多地在做这件事。>> 嗯,我得说,每次我进入你的“家”,它都告诉我该更新了。>> 是的。哈哈。是啊,获取最新的构建版本。马特,这就是我得到的欢迎仪式。我一走进去,它就说:“你想要雷诺吗?我给你准备了个雷诺。”[笑声]
嗯,我很好奇。你知道,你是在产品热销的同时设计它的。正如南所说,很多东西是旧事物:用户同理心、系统思维,但也有一些新东西。对吧?有些新的技能和方法。我很好奇关于与研究人员合作的事情,因为我认为观众中很少有人在其职业生涯中做过这件事,这对产品人员或产品领导者来说是非常新的领域。
进入这个新角色后,你必须与研究人员协作,你学到了什么?是的,我要说对我而言,来到 OpenAI 之前完全没接触过与研究人员合作。所以我肯定不是这个主题的专家。我会给你提供一个新手视角,就像《康涅狄格州 Yankee 在亚瑟王宫廷》那种感觉。我带着与研究人员合作的想法进来时,心想:哦,这与与工程师合作不同。
这对这里的每个人来说可能显而易见,但我当时想:“哦,这真的非常不一样。”在我能为与研究人员合作增添一些价值方面,对我来说就是带着非常具体的用例进来。对用户想要做什么以及他们的目标要有极其清晰的想法,并拥有样本阅读材料。
所以理解字面上发生了什么会话、它看起来是什么样以及为什么模型没有做它需要做的事情。如果我能编写评估测试(evals),那我就到位了,就像学习如何写好评估一样。
尽可能多地进行评估(evals)和编写评估脚本,这就像是最重要的一件事。在我能用这些提示词和技能以模型实现理想结果的情况下,我可以将其带入后训练阶段,并思考如何从一开始就将这种能力植入模型。但我认为这始于首先理解这是一种完全不同的工作方式,我以前真的不知道该如何操作,然后达到能够很好地处理特定用户数据的程度。如果用户对你有足够信任,你就可以编写评估脚本以启动迭代循环。
作为产品领导者,你觉得自己在时间线上处于多久远的未来?因为我认为存在这样一个时间视野:我可以解决眼前的问题,我知道接下来会发生什么并能预判产品走向;而明年的模型将会是怎样的。在这样一个不断移动的基础之上构建,你觉得自己作为领导者必须生活在哪个时间节点?当你问是否活在未来时,我回答说:我就活在此刻。不完全是这样,我认为我必须稍微活在未来一点。对我来说,理想的规划周期是两到三个月。
不能把目光放得太远而说“这是几年后的未来”,因为我对未来的预测几乎总是错误的。我有一本专门记录错误预测的日志,提醒自己无法准确预见多年后的事情;但同时,如果只针对今天进行构建,你就会被甩在后面。所以我不断重复这一点:以两到三个月为限。让我们再次互动一下,今天是年底,大家都在做2027年的年度规划吗?谁刚听到她说不能看超过60到90天之外?我认为这是根本性的张力。
这很难猜测,但对不同企业来说情况并不相同。以Stripe为例,其业务与OpenAI截然不同。支付市场的动态看起来大体相似,尽管在其他方面有所加速,但你可以建模牛市、熊市和基准情况。而对于OpenAI的业务则完全无法做到这一点。也许Sarah Frier可以做到,她是专家而我远不及她。我很难像理解Stripe的杠杆那样去预测OpenAI的业务,因此也许规划数月之外是合适的。
关键在于理解你所处市场的节奏,并根据该市场动态确定思考与规划未来的频率。所以你们听到的是Stripe的产品经理仍然需要进行年度规划,祝大家好运。让我们聊聊“过去与现在”。我们都曾以26岁新人的身份从事产品工作一段时间。从经典的产品经理技能来看,哪些仍然重要?你认为什么是新的基本门槛(table stakes)?
我认为重点发生了变化。由于吸收率和能力过剩等原因,我现在认为比以往更重要的事情是“入职引导”(onboarding)。虽然人们常说它很重要,但工程师往往不喜欢做这部分工作。我认为要想获得大量成功,必须思考初始体验以及如何让用户真正理解你的产品提供什么,这比以往任何时候都更重要。
Tara怎么看?用户理解隐私、数据及其使用方式变得比以前重要得多;用户需要理解产品的行为规范。以前在出现不可预测行为时,可以通过设置菜单或弹窗来缓解;但现在如果代理半自主地行动,你必须确保用户在任何时候都能预测引入的功能或原语可能会发生什么。
就产品思维而言,作为产品经理起步时听起来很无聊的答案是:所有常规操作仍然适用。除了实证测试和加快迭代速度的重要性增加外,其他如深入细节、兼顾高低层视角、理解设计和产品等依然适用。但所有这些都需要做得更快,并与用户测试相结合,这变得尤为重要。
还有一个问题涉及OpenAI产品和工程团队的高度可访问性、可见性和直接沟通文化(DMable)。我常通过Slack直接向团队提供反馈。你是否觉得对于产品领导者而言,直接的用户关系正成为基本门槛?这种“可私聊的产品经理”理念在OpenAI很常见,保持贴近地面是否越来越重要?
我的背景是开发者和企业客户,所以我一直是可以被直接联系的产品经理。但感觉新的是,对于大型消费者产品或大众使用的产品而言,达到同样的可访问性水平是新的常态。这对我来说并不觉得正常:你当然应该与用户保持直接联系,正如我之前提到的,你对研究的价值在于确切知道用户想要什么。
他们各自的使用场景是什么?所以,你越能像通过私信与产品经理或工程师沟通那样直接地交流,效果就越好。比如,如果你不喜欢 Astra 的输出结果,我其实会想:“嘿,克莱尔应该把那些输出发给我。”(笑声)了解那里到底发生了什么会非常有趣。这部分内容之所以重要,是因为这正是你创造价值的地方。但我很好奇蕾妮的看法?
是的。我知道你在开发工具领域工作过,对吧?工程师们极其挑剔且注重细节。通常,直到你提出第二或第三次跟进问题后,才能得到有价值的反馈。我认为这正是许多产品经理正在经历的一种转变:当你设计带有自然语言接口的代理体验时,人们遇到的问题(比如 Astro 游戏)往往相当微妙。这需要一些解释:它到底说了什么?上下文是什么?是你让它生气了吗?这类需要追问的细节很多。因此,建立更直接、更深入的关系能带来丰硕成果,这可能是在此之前无法充分利用的。
你们俩都没收到我的私信呢。所以我对未来 90 天充满期待,我们会建一个群聊,那会很有趣。好了,最后一个问题。之前丹和 Anthropic 团队在一起时,他问过:一年后,关于产品工艺和产品角色的哪些方面会发生变化?我想谈谈这部分内容。你们觉得像我们接触到的东西——比如网站上的按钮、用户体验等,哪些方面会不同?因为我觉得每周每月都有新的形态出现。作为产品思考者,你们认为 2027 年会有什么重大变化?
我有答案给你:语音。我喜欢语音,你们试试 GPT Live 就知道了。我们就是话痨。(笑声)希拉里·菲德利,那个 API 天才也是话痨。语音彻底改变了我的工作方式。我只想和电脑说话,真的感觉好多了,在某些方面显得更自然。我相信你们都当过父母的“技术支持”。语音的存在极大地减少了我为家人提供技术支持的次数,程度令人难以置信。比如我在 OpenAI 入职新员工时,语音的存在改变了游戏规则,对许多人来说它是如此直观的界面。
正如南之前所说,你必须考虑人性以及我们数千年来进化出的与他人互动的方式:说话感觉如此自然。而且模型在语音方面终于变得出色了,速度也在提升。我对语音非常看好。你呢?嗯……我认为在接下来的一年里,某种看起来很像“自动驾驶”的东西可能会变得非常重要和突出。人们面临的一个大问题就是“空白输入框困境”,对吧?无论你使用的是 ChatGPT 这样的通用工具,还是行业特定的工具,情况都一样:有了产品之后该怎么做?你得学习如何使用它。
既然这些产品现在变聪明了,它们实际上是智能的,那么让它们自行使用并帮助你入门,从而提供一个非常平缓的上手过程,我认为这将是一件很平常的事。将来我们会回头看并感叹:“为什么以前不是这样工作的?”(笑声)好的,我们需要笔记员成为我们的问责伙伴。所以我们有语音,有自动驾驶。我还要说:取代随身携带笔记本电脑的硬件。是的,我想要一个小小的机器人放在这里,一个小巧的代码助手盒子,这样我就不必做这些繁琐的事情。这是我的预测。所以无论谁记了笔记,我们将看看我们在 2027 年热门产品预测中谁的判断更准确。
感谢这些来自 OpenAI 的可爱领导者们前来分享。克莱尔,谢谢你。(掌声)