我们的运行率在过去9个月内增长了10倍。我们使初级研究变得更快、更便宜,并嵌入到流程中。净推荐值(NPS)达到300%。Qualitate的独特之处在于,我们拥有所有这些数据,可以将主持人建立在这些数据基础上。这是我们的数据。你在这里获得的益处是,当AI访谈者代表你去进行调研时,它不仅基于你想要问的所有问题和后续追问建立基础。
它还基于我们的资料库建立基础。因此,有现实世界的证据在输入进来,对吧?>> 你创建了专有[音乐]数据集。本质上, >> 这已经绝对成为我们许多客户进行初级研究的主导形式了。大家好,欢迎来到Pitch the PM节目。[音乐] 我是Doug Garbbert。在Citadel和Millennium工作了十年后,我采访了顶级基金经理关于他们最高信念的[音乐]观点。请务必订阅我们的Substack以获取更多研究更新。
今天我和另一位伟大的企业家Qualitate的CEO Sager Kadakio在一起,欢迎。 >> 非常感谢你的邀请Doug,我非常感激。 >> 很高兴你在这里,我很兴奋能更多地了解你的公司和创业历程。你已经在这个创业旅程中走了一段时间了。你有着过去的经验,而这一次是全力以赴的。所以我很想听听你是如何创立Qualitate的一些故事。 >> 是的,绝对如此。嗯,所以在这个领域我已经工作了将近20年,主要专注于初级研究、专家调研,面向投资者销售。
从对冲基金到信贷团队再到营销和战略团队等等。所以我早在2023年就创立了Qualitate,并为业务筹集了一大笔资金。你知道我实际上已经多次构建了该业务的先驱版本。它始于2011年的ETR,当时我加入了Tom Delvacio的团队。在那个时候,我们做了大量的调查工作。我们为此工作了六七年,主要面向买方销售。在那一点上那确实是一种主导的形式因素。像多项选择调查这样的东西,你知道我们和专家进行电话沟通,就像人们传统上基本上捕捉初级研究的方式一样。
当然那里的局限性总是规模扩展的问题,因为其中很大一部分最终是手动的。所以随着我职业生涯的继续,你知道技术显然随着时间的推移变得越来越好,我在7 Park Data花了一些时间,在CB Insights也花了一些时间。最终在2022-2023年,像ChatGPT这样的东西开始出来。语音捕捉技术也开始超越人类的模仿。我认为有一些关于AI访谈、AI主持的早期传闻,对吧?当时这非常新颖。
我想那时也有很多怀疑论者存在。所以我开始尝试这些技术,再次因为我拥有深厚的初级研究背景,做了这么久的工作。我最终看到了愿景:嘿我们可以利用最新的技术如AI和语音捕捉来构建一个全新的类别,即持续的专家情报。我们可以基本上利用所有这些工具提供下一代专家网络或咨询的样子,对吧?
我们可以用AI访谈者代替人类来进行所有的通话。这就是这一切开始的起源。这是技术在2022-2023年可用性以及我背景的结合。所以我最终将这些整合在一起。我们为这个想法筹集了资金,业务开始启动并发展到了今天的位置。我们刚刚完成了由Insight Partners领投的A轮融资,为业务再筹集了2500万美元。我们与最大的对冲基金和私募股权团队合作。
成长型股权投资、风险投资,世界上许多大型公司都是我们的客户。我们的NPS超过300%。所以当我们的客户进来时,他们通常会购买更多并与我们共同成长。我认为我们绝对革命化了几年前这种使用AI访谈的新颖概念,现在它已经绝对成为许多客户进行大量初级研究和专家情报的主导形式因素。 >> 你们使用AI访谈技术已经有三四年了,这很有趣。
我曾在Montalk的Battle Fin会议上听到GLG说他们是原创者,并且他们计划通过使用AI专家将资料库扩大5倍。所以他们正在疯狂冲刺构建那个东西。你们也有一个资料库吗? >> 我们有。所以实际上我们最初在2024年初推出的第一个产品是利用了我们构建的AI访谈者,并主动走出去进行讨论。
AI主持人会问它自己的问题。所以我们构建了设计使得AI访谈者在每次讨论后可以使用那次讨论,并有效地利用上下文然后显然问出更好的问题。这就成为了Qualitate的第一个产品,我们花费了数百万美元自己的资金走出去并建立这个庞大的信息资料库。 >> 那是AI访谈者在做那件事,对吧?无论是网络安全专家还是数据管理专家,可以是医疗保健也可以是先进制造。 >> 训练AI知道问什么问题,投资者或企业或私募股权真正关心什么。
完全正确。所以我们做了什么呢?我喜欢用“扎根”这个词。我们将主持人建立在这些我们知道对冲基金非常重要的问题上,例如。所以主持人在讨论期间知道:嘿我要问关于你的策略演变、预算、驱动因素的问题,你们在使用谁评估减少和流失的人选,为什么选择X而不是Y投资回报率时间价值等等。
这些都是人们最终关心的问题新产品采用需求势头等主持人知道要问这些问题。因为我们基本上走出去自己做大量的访谈,什么
发生的情况是,主持人不仅基于这些问题进行引导,更是扎根于这个知识库。这是目前全球增长最快的AI主持人和AI访谈库。我们代表Qualitate进行着成千上万场讨论,使用的是Qualitate设计的问题和框架。因此,每一次后续的讨论中,主持人都会变得更好、更优秀,因为它拥有之前所有讨论的知识储备。
在这些问题的设定和辩论框架中是否有真人参与?特别是在某些行业或股票方面吗?在最初的设计和设置阶段,是的。但一旦AI访谈开始运行,这位AI面试官或主持人就会独立进行长达45、55甚至65分钟的整个讨论过程。因此,除了专家本人外,通话中没有其他人类参与。
Qualitate团队中没有任何人会介入并引导这场对话。整个过程都是自主完成的。你构建了这种跨越季度和年份的重要上下文背景。因此,这里的关键优势在于训练AI时,不仅使用Reddit和网络上的公开数据,而是基于其自身的专有上下文,也就是你们的历史记录。
正是如此。这也使得Qualitate与众不同:我们拥有大量数据作为主持人的基础,而且这些数据属于我们自己。这意味着什么?如果你有一个像传统那样的知识库,通常无法将AI面试官建立在该库之上,因为那都是客户数据。
那些转录文本是由客户生成的。你可能并不拥有这些转录本的权利,除非你将其分享给Qualitate平台。这里的独特之处在于,平台上所有的转录文本都是由Qualitate生成的。因此,这是我们自己的数据,我们拥有能力打造一位极其出色的AI面试官。
它在每一次后续提问中都是最好的AI面试官,因为它在几乎所有终端市场进行了数万次讨论。它理解竞争格局、供应商、功能特性、使用场景以及支出情况,并能在访谈过程中近乎实时地从知识图谱中提取信息。这就是当今AI访谈如此出色的原因所在,也是Qualitate最终构建起来的核心能力。
本期节目由Fiscal AI赞助,这是为领先投资者和平台提供动力的现代数据基础设施。Fiscal AI在财报发布后几分钟内即可交付可追溯的财务数据,使我们能够快速且自信地行动。从财务报表、转录文本、投资者关系演示文稿到股东信件,每一个数据点都经过结构化处理并准备好使用。
利用Fiscal AI构建基于机构级标准的数据投资流程,所有数据100%可追溯至源头。你们如何区分内部拥有的知识图谱与客户希望保持问题及信息分离、专有且不共享的情况?针对这部分,你们是如何处理的?
在我们众多的产品中,你刚才描述的是Qualitate推出的第二个产品。我们最初做的事情 essentially 是进行所有这些主动式访谈,随后我们的客户都说:“嘿Sagar,我想用这个面试官配合我自己的问题。”我说好的,于是我们推出了该产品。现在这是Qualitate增长最快的产品。
我们的客户与我们的智能体合作设计访谈,指定他们想对话的对象、列出所有问题以及希望进行这些访谈的频率——无论是每月、每季度还是单次。现在,AI面试官带着他们的问题出去执行所有访谈工作,同样完全自主进行。这些信息永远不会回流到公共库中。
我们的客户也在利用Qualitate构建自己的知识库以及专属的AI面试官。所以,你 essentially 为其他使用你们AI渠道核查服务的对冲基金创建了专属的内部通道检查工具。这意味着最大的对冲基金可能在五到八年前就开始做这件事了,而现在其他所有基金都可以拥有中央团队,甚至大型基金也可以使用你们的服务并保持数据隔离。
正是如此。你在这里获得的益处是,当AI面试官代表你去执行这些核查时,它不仅基于你想要提问的所有问题和后续追问进行引导,同时也扎根于我们的公共库。
因此有真实世界的证据在输入其中?是的,成千上万分钟的真实世界证据每天都在、每周都在注入到这个主持人系统中,加上你提供的所有信息。但这只是一个单向阀门,对吧?你的信息流向那里并留在那里,但它们的信息不会流回来。他们拥有这些通话记录,他们是单独付费购买这些服务的。
完全正确。因此,我们每一位客户都拥有自己的AI面试官。这个面试官由两部分上下文组成:我们的库和他们的库。所以,我们所有客户的AI面试官都能从我们的库中受益。但随后他们各自的上下文和知识库对他们而言又是独一无二的。
假设基金一在企业科技领域做了大量工作,他们在我们所拥有的数据基础上进行了数百或数千次核查。那么这位AI面试官在后续提问方面将与专注于医疗保健或医疗IT的基金二截然不同。虽然它仍然基于我们的数据进行基础引导,但这位主持人面试官在特定的医疗领域可能拥有更多的专业知识。
为了实现这一点,你必须构建某种系统。如果你真正想要规模化扩张,就不能使用市场上现有的那种通用AI面试官。这位面试官需要像你们一样思考、感受和行动。它需要具备你所拥有的所有上下文背景。如果你想产生超额收益(Alpha),你就不能共享所有这些敏感信息,这些信息必须是你们系统专有的。
这就是Alte(注:此处应为Qualitate的口误或特定称呼)所构建的架构。该智能体可以访问他们内部的笔记、电子邮件、即时通讯记录以及Excel模型等所有资料。是的,你是嵌入式的。你确实是嵌入式部署的。
那么,你们如何获得这种信任以实现嵌入到他们的专有系统中?因为关键在于他们是否信任这道“墙”,允许你们进入。
最近我们推出的功能允许用户将大量信息上传至Qualitate,以进一步优化访谈质量。起初主要支持文档类内容,例如过往的通话记录转录稿。假设你进行了一千次关于网络安全的访谈,可以将这些内容上传至系统上下文。现在AI面试官不仅掌握过往转录稿的知识,还能结合Qualitate自身的知识库以及用户自行构建的库。通过这种方式,你可以持续优化面试官的知识背景。
如果还能将其与内部投资备忘录和交付物挂钩效果会更好,特别是在与管理层在财报发布后或会议期间交流时获取笔记。目前是否已支持这一点?毕竟放入所有财报转录稿相对容易实现。Sagar回应称,目前尚未完全支持,但这已在路线图规划中。起初我们侧重于让用户上传大量定性内容如备忘录和转录稿,现在正计划大幅扩展这一范围。
当向系统开放各类数据时,必须确保AI在检索信息时的准确性,这是极具挑战性的问题。需要考虑信息的时效性曲线、上下文冲突以及正负面信息并存的情况。例如,在持有多头头寸时提问会更尖锐以寻找弱点,而空头则关注另一面。我们深知自己的立场,希望了解自身判断的盲区所在。
我们希望AI面试官保持客观。在许多转录稿中,投资者往往带有特定假设并试图验证它,导致人类主导的访谈存在偏见。无论看多还是看空,很难做到完全中立客观。因此AI面试官的设计初衷便是避免引导受访者走向特定路径,从而确保洞察的公正性。
我们希望AI拥有我们图书馆及用户添加内容的大量上下文背景,并在访谈中保持客观以获取真实答案。随后再判断这些答案是否验证或反驳了假设。目前这仅是早期阶段,未来将大幅改进。例如新推出的持久记忆功能:在进行渠道调研时,AI不仅具备上传数据的背景,还能记住上一通电话的内容。
当进行第五通访谈时,AI已掌握前四通的知识和内容,正如人类专家随着通话积累而提升能力一样。但人类的记忆不仅限于此,还包括所有同行访谈、过往周期的记忆以及非正式交流信息。回想2023年底我刚开始这项业务时,人们提到AI访谈首先联想到的是令人讨厌的零售客服机器人。
如今经过上述描述,这已远超那种自动化电话体验,这是一场真正的对话。有人问及这与Salesforce收购的Listen相比如何?以及与传统专家网络同行有何不同?鉴于该市场多年来持续增长,Sagar指出Listen主要侧重于B2C领域,如与消费者对话。
而Qualitate的区别在于专注于B2B市场。我们的主要客户包括对冲基金、信贷机构、成长型股权私募股权和风险投资机构,同时也服务于大型B2B组织的产品团队、战略、营销及销售部门。我们处理的应用安全测试、CRM系统或工业阀门泵等均为B2B场景,这与询问消费者是否喜欢某种酸奶口味截然不同。
B2B与B2C在专业度和复杂性上存在巨大差异。至于传统专家网络或咨询公司等 incumbent,其挑战在于成本高昂且流程复杂,并非人人都能承担2000美元的专家访谈或50万美元的咨询项目。Qualitate通过引入AI并深耕B2B领域,大幅降低了成本。我们的通话费用仅为传统方式的三分之一或四分之一。
我们目前所做的一切,在速度上领先数年。AI解决了速度的问题。现在,我们在短短几个工作日内就能完成20到40次访谈。我们拥有自己的专家库,从端到端构建了所有技术。我们不租赁面板,而是自建了专属的专家网络;我们拥有自己的AI访谈技术,以及所有的洞察层。
如果将其想象为一个网格,我会将Qualitate置于右上角的象限中。我们在B2B领域结合了速度与质量,且成本大幅降低。相比之下,传统的专家网络则位于右下角的象限中:它们虽然质量尚可,但速度极慢、成本高昂,且由于这些原因,很难为每一次决策提供合理的 justification。
你是如何解决构建专家网络或面板的问题,以确保与你对话的人具备高质量呢?因为在转向AI代理时,你会失去对信息来源的控制——你不知道是谁在提供信息。而这些通常是老牌机构经过长期精心筛选的结果。那么,你是如何快速建立起这种高质量网络的?
是的,使用代理技术。在2024年初筹集资金时,很难让这一想法落地。很多人认为你无法构建庞大的专家库并与现有的大型专家网络(ENS)竞争,甚至觉得这完全不切实际。但我明确表示,我不会建立一个依赖租赁专家网络面板的业务模式,因为一旦对方停止授权,我的业务将无法运作。
因此,融资非常困难。但我们找到了合适的合作伙伴——Crew Capital。该基金由UiPath的创始人Daniel Dines和Brandon Deere领导,他们给了我第一张百万美元的支票。我告诉他们:“我将构建AI访谈技术,同时建立一个庞大的专家库,但我不会雇佣一千名助理去人工搭建。”
相反,我将使用AI代理来帮我完成这项工作。显然,几年后我们实现了这一目标,这也解释了为何能获得Insight的投资。我内心仍倾向于买方或亲自操作,这确实是在节省时间与亲力亲为之间的一种权衡。
当我还是分析师时,我会亲自完成所有工作,或者至少阅读其他人的尽职调查笔记。但当你成为投资组合经理(PM)时,你没有时间做所有事情,你只需要摘要。因此,这是一种权衡:获取更多详细信息与信任其被以你想要的方式提炼之间的平衡。
我在你们的网页应用上看到,你们不断更新调查数据。这些数据组织得井井有条,你可以看到不同行业对同一问题的回答随时间的变化。这就像是一个持续运行的调查项目。这让我惊叹,这不仅限于专家访谈,而是进入了更深层的洞察提炼阶段,并通过数据使其更加稳健。
这不仅仅是收集信息,而是对信息进行加工处理,省去了大量繁琐的工作。我认为在未来六个月内,完全由人工主导的访谈不会消失。Qualitate所做的是 bridging(连接)了人工与AI驱动的访谈。
具体是如何操作的呢?如果你想亲自进行前两次访谈,这完全合理。也许你想先摸清情况,或者有一些特定的问题需要解答。很好,进行前两次访谈,然后将内容上传到AI访谈系统中。这样,AI就获得了这前两次访谈的上下文背景。
它了解你提问的风格和偏好,并保留这些语境信息。然后,AI可以再去进行另外50次访谈。因此,无需在质量或人性化成分之间做出取舍。我认为我们在融合这两方面做得非常好,而这正是AI访谈的核心意义所在:如果你能解决质量问题,那么速度和成本问题自然迎刃而解。
AI带来的价值在于:你能在极短的时间内、以fraction(零头)的成本完成如此多的访谈。而且模型正变得越来越智能,这才是令人印象深刻的地方。我最近开始使用Oxford Data Plan(ODP),它瞬间成为我最喜欢的生成Alpha收益和监控风险的数据源之一。
每季度我都能获得实时另类数据,并据此对我的模型进行市值调整和每日更新。这样,在公司财报发布前的几周,我就掌握了趋势信息,从而在预测公司潜在指引方面占据优势。ODP为超过250家公司的关键绩效指标(KPI)提供实时数据支持。
ODP增强了我对未来预测的信心,在生成Alpha收益方面起到了变革性的作用。如果你还没有使用它,那你将错失良机。你会切换模型吗?有时有人告诉我,当新模型发布时,需要清空上下文重新开始。那么,当你使用更高级的模型时,是否会丢失之前的语境信息?你是如何处理这一问题的?
模型的进步非常显著。在过去6到12个月里,我们非常谨慎地选择所使用的模型。我们不希望盲目升级所有模型,因为必须对一切进行测试,这非常重要。因此,我们不会丢失任何信息。我要澄清一点:我们不进行训练或微调(fine-tuning)。
因为如果你进行了训练,当下一个版本发布时,你之前所做的一切工作都将归零。我们采用的是“Grounding”(接地/锚定)技术。这就是我们要利用最新前沿模型的方式:随着模型的不断进化,我们将访谈主持人的语境与我们的客户语境进行锚定。
这是一个非常重要的区别:训练(Training) versus 接地/锚定(Grounding)。正是这种方式让我们能够迅速行动,捕捉到所有前沿实验室最终取得的成果。因此,质量持续提升。主持人或访谈者拥有了越来越多的实时信息,这些信息既来自我们主动捕获的数据,也来自客户的动态行为。
你之前提到的最后一部分是关于结构化信息的概念。如今所有图书馆的问题在于,如果你仔细想想,它们就像是一堆杂乱无章的通话记录。不同角色的人都在做这件事:有的是对冲基金,有的是风险投资,还有的是企业客户,提出的问题各不相同。
因此,即使针对同一家公司,也没有纵向分析的概念,更谈不上量化。所以我开始开发产品时就说:“我们要采取不同的方法。”因为你可以搜索转录文件,甚至可以查询这些数据。在Qualitate上,你实际上可以查询通话记录,这意味着你可以获得量化和纵向分析的数据。
我相信我们是唯一这样做的参与者,这也是为什么我们在过去九个月里将年收入率提高了十倍。那么我们要怎么做呢?我们说,嘿,我们要借鉴调查架构的概念:在特定时间段内进行所有采访,然后重复这个过程。
一年进行几次?我们要专注于像“重复面板”这样的概念。当你做时间序列分析、纵向分析和信息量化时,所有这些都非常重要。你基本上创建了专有数据集。这非常具有粘性。
即使另一个专家网络说:“嘿,我们要将我们的AI访谈者基于我们的图书馆。”那也没关系,因为我们的图书馆是结构化的。拥有结构化转录本会产生巨大的差异,因为访谈者能够以逻辑方式遍历该知识库,从而产生远为更好的回应。
传统巨头不能只是说:“太好了,现在我们要将所有转录本作为基础。”那只不过是把一堆扁平文件放进去。你如何遍历那些需要上下文的语境呢?这很难。
专有的上下文和专有数据的时间序列会随着时间推移变得更好,这些都在你的中央图书馆中。然后客户拥有自己的画布可以创建。
目前已有几十家对冲基金将大部分渠道检查业务转移过来。为什么?因为AI访谈者可以接受他们的问题,我们可以去同一个面板,根据他们的节奏每月或每三个月安排一切。
AI访谈者以极低的价格完成所有通话,并利用他们过去的检查结果。这就是持久记忆的概念,它利用了我们也在实时收集大量信息的图书馆。
即使他们没有提出所有正确的问题——假设你总是能问对所有问题很难达成一致,但现在不需要了。因为AI访谈者每个季度会对Snowflake进行一千次通话。它可以利用这些数据,因为这是我们的数据。
在此基础上,你可以在它进行所有采访的同时使用这些信息。这就是这里的检查做得这么好的原因。它有来自Qualitate图书馆的现实世界证据,以及你随时间上传的所有上下文。它记得你做过的所有项目。
这就是AI访谈如此不同的原因。你提到了Snowflake,我们做过一期关于它的节目,显然他们推出了Cortex并获得了很好的采用率。CEO在LinkedIn上谈论它,GitHub下载量也可以看到。
你们是否在它们推出之前就开始关注这一趋势?毕竟他们是因为这个才融资的。我们在这方面已经做了两年了,我们在Snowflake上拥有全球最大的图书馆,而且遥遥领先。
这就是AI访谈的速度优势。你问了什么问题?你怎么知道要开始询问Cortex的采用情况,因为那是一个新产品?
这是一个好问题。当访谈者与Snowflake客户交谈时,访谈者总是基于以下问题进行提问:哪些产品推动了采用?导致支出增加或减少的单位驱动因素是什么?是否有更多工作负载进入系统?
无论可能是什么,人们都会开始提到这些产品、Cortex等。主持人拥有这些知识,所以当它提出下一个跟进问题时,它会说:“嘿,你提到最近增加了支出。Snowflake近期推出了许多产品,情况如何?”
它怎么知道这一点?因为刚才有人在之前的对话中提到了。现在它拥有这些知识,可以提问并获取信息。这就是主持人提出自己问题的概念,构建这样的东西真的很难。
这是在转录之前发生的。一旦你有了转录本,你就知道他们在谈论它,但他们的指南中没有任何相关内容。主持人主动知道该问什么。
没错。这就是正在发生的事情:访谈者并不关注管理层在说什么,而是只关注客户在说什么。以Snowflake为例,它正在进行所有这些客户访谈。
我们不想用市场上其他所有信息来偏颇它。我们只想走出去与成千上万客户交谈,了解他们支出的单位驱动因素是什么?
他们的竞争格局如何?与Databricks相比呢?谁在赢,谁在输?人们为什么决定不选择他们?某人的整体数据仓库或数据湖策略是什么?这就是访谈者正在做的事情。
它进行的每一次后续采访都可以从之前的采访中提取信息。因此,当有人开始提到新产品时,主持人现在就有了这样的“箭矢”在它的箭袋中,并可以在后续讨论中使用它。这是最客观的采访方式。
专家网络系统中的另一个痛点或摩擦点是:找到合适的专家,安排通话。然后有时……
找到那些身份造假或专家资质有问题的受访者。这些摩擦在专家网络中一直存在,并且至今仍在发生。“永远如此。”“你们是如何应对、驾驭并改善这些问题的?”
当你想到之前提到的那些传统老牌机构时,它们本质上都是服务型业务。但质量不是服务,质量是产品。因此,我们不会采用“往流程里加很多人”这种思路来解决问题。我们的核心在于:如何构建一个产品,最终去复制某人提供的服务?在这里,你描述的服务概念是接收客户的诸多需求,确定我们要联系哪些专家,并确保这些专家的真实性。我们需要验证他们确实拥有所声称的知识,而不是在使用ChatGPT生成内容。“你怎么确定你对话的不是一个只是在Reddit上搜索并输入垃圾信息的代理?你怎么知道那是一个真正的医生、阀门买家或Cortex用户?”
这很大程度上是我们内部开发的AI访谈员技术。我们建立了许多欺诈检测模型,比如识别某人是否在使用ChatGPT。这就是构建产品的概念:从源头到实际访谈再到审核层,涉及欺诈预防、AI工具的使用以及伪造专业知识等问题。在这种情况下我们也让人类参与其中,特别是在处理MNPI(重大非公开信息)和PII(个人身份信息)时,这显然是非常重要的一环。但我们试图围绕这一切有效创建产品,这使得我们能够如此快速地推进。我们的直觉是不要往里面加一堆人变成服务业务,而是要思考如何创建产品或代理来复制该服务,并随时间推移改进它。这样我们每天可以进行数千次通话并能正常运营。“你们的Token用量是多少?你们如何量化这一点?”
有人在蒙特雷科技金融会议上评论说,人们为Token支付的费用将超过分析师的基本工资。我称之为“西海岸数学”。但你们似乎使用了大量AI代理。“所以你们的Token用量情况如何?”
目前还好。我认为我们的用量尚未达到令人担忧的程度。今天之所以易于管理,是因为人类正在执行平台上的所有操作。这意味着如果由人来操作,你自然会受限于一个人能采取的行动数量:人们点击、搜索的速度是有限的;每天启动的项目数量有限。因此成本变得可控。但当用代理取代人类去启动AI访谈员时,理论上代理可以在几分钟内启动数千次采访。那时Token和计算成本将会急剧加速。“而且……”
“我们还没到那一步,至少我还没有看到过代理自主启动数千次采访的情况。我们已经与客户深入讨论过这一点,因为我认为这是未来的方向。”因此,随着架构真正变得连续化,这将成为越来越多的关注点。只要有人类参与,你们仍然在按工作日运营,这显然比传统专家网络所需的数周时间有了巨大改进。随着我们进入代理扫描人们的数据仓库和基础设施、确定问题或差距,并将这些信息输入访谈员然后启动采访的架构中——这一切都在全天候实时发生。是的,那时Token和计算成本将比今天高得多,因为现在代理在启动所有流程。
“你怎么看?你们从客户那里得到的阻力是什么?我想象这主要围绕质量,你们如何让他们放心?”
是的。我想这回到了非常早期的阶段,那时最大的担忧就是质量:AI访谈员真的能撑得住一小时吗?你怎么知道它不会失控?你怎么确定对面的人确实会提供高质量、真实的见解?我认为有几件事。首先,就像收购Listen一样,这表明市场已经走多远了,以及这如何成为一种非常受信任的形式。我们在上个季度业务几乎翻了一番,因为现在人们对这些工具投入了信任。当我在2024年刚开始这项业务时,它仍然很新颖。人们起初对使用该技术犹豫不决,或者至少不敢大规模使用。现在一旦人们看到输出结果和访谈内容——我经常听到这样的话:“我提不出比这个访谈员更好的问题。”这是因为AI从你输入的所有信息中提取内容,并从我们底层创建的庞大库中获取依据进行支撑。两者的结合使访谈员拥有庞大的信息集,可以实时提取以跟进人员,每次提出最好的问题。
我认为模型已经变得非常出色。作为企业,我们学会了如何检索这些信息。持久记忆等功能极大地提高了质量,还有数十种其他功能被添加到编排层中……
跟进质量非常好。所以我认为,这主要是构建体系的过程,需要花费两三年时间不断打磨,效果才会越来越好。其中一个相邻领域是会议众多。人们会注册参加所有会议,突然之间日程表上就排满了十到十二场管理会议。这些通常是小组会议,但你会发现没人做准备,到了现场也没人提问。
大家可能以为会有人在电脑上启动你的智能体(Agent),在短短25分钟的会议中向管理层提问。但在那种场合只能问几个好问题,因为管理层会按照他们想讲的叙事来引导话题。你可能需要在提出真正想要的关键问题之前,先抛出一些容易回答的“软球”式问题。
这实际上是我们即将推出的一款产品,因为很多客户都在询问。他们的想法是:“嘿,我仍然希望亲自打电话或提问,但我能否让我的AI采访助手在旁边协助?我想了解如果由它来面试会问什么。”然后我会判断,是我提出的问题更好,还是AI的问题更精准。
因此,我们现在推出的一项功能是:当你进行人工访谈时,AI采访助手会就在你身边。在通话过程中你可以做出决策:“嘿,这个问题比我原本想问的要好,因为它能调用大量背景信息。”或者“我有更合适的问题,我想深入挖掘这个细节。”也许AI会建议你不要钻牛角尖。
这是一个很好的中间地带,因为随着时间的推移,你会逐渐信任智能体。对我来说,进行这些访谈时,我会专门花一小时认真思考针对某位专家或某个争议点的问题。这也意味着要预留出心智时间,因为书中提到的名字太多了。这也是为什么你希望做这件事的原因之一:给我更多报告阅读只是增加我的收件箱负担,而不是真正留出时间。
我们最初的概念是AI访谈,但这终究只是一种形式。我认为我们正在构建的是人们运营组织所需的整个“持续智能基础设施”,必须将AI和人类结合起来。没有哪种方式是可以单独使用的,如果只做人工访谈,那将是处境最糟糕的选择,因为你无法与那些以百倍于你的规模运作的竞争对手抗衡。
我们正在研究模拟和合成数据等技术,可以模拟一系列专家访谈。谁能比拥有我们专有库的团队做得更好呢?以Snowflake为例,我们有成千上万次独特的讨论记录。因此,你可以混合使用各种形式:高端访谈、模拟或人工与AI结合的所有方式都是拼图的一部分。
根据目标和预算的不同,你可以使用全部或部分形式。这就是Qualia最终构建的系统架构,AI访谈只是其中的一部分。我们深知拼图中还有其他许多部分,包括人类因素在内。这就是我们正在构建的内容。你认为你能用智能体在财报后与投资者关系部门(IR)安排通话,然后执行吗?你觉得这会奏效吗?
我不认为有什么不行。这是一个特定的用例。如果我们的客户中有大量需求和意愿,那么答案就是肯定的:“是的,我们会构建它。”这就是我运作的方式。我很幸运地感觉到,我们的大多数路线图都来自客户。就像我之前提到的渠道核查概念,大约四五个月前,人们说:“嘿,我正在手动做很多工作,使用你的AI采访助手,但我现在想要一些重复性操作。我想安排日程。”
他们最终反向输出了路线图,因为他们拥有组织内部的大量知识,知道如何以最佳方式行事。所以我认为,当你构建最好的技术并精心设计细节时,人们最终会来找你说:“嘿,我想与你合作,我希望你以这种方式设计和编排流程。”因为只有这样我才能将全部业务交给你;否则我无法做到。
这就是我们制定路线图的方式,无论是针对私募股权、对冲基金还是竞争情报团队:“嘿,能为我开发所有这些赢单/输单分析智能体吗?”“能帮我开发渠道核查智能体吗?”或者“我想对目标公司进行深度尽职调查,了解AI如何影响所有垂直SaaS业务。你能帮我从ERP到税收会计软件全部跑一遍吗?”
你会发现人们的需求有很多重复之处,这帮助我们确定下一步的方向。所以是的,如果我开始听到很多人说想用智能体与IR部门进行所有通话,我认为我们会涉足该领域。但目前对我们来说,我的重点是如何开发持续智能基础设施。我们只是让初级研究变得更快、更便宜且嵌入到流程中。
如果让我总结一下,这就是Qualia正在做的事情。这意味着现在有多少人做过专家访谈?比如两千人?不,我意思是大约一万人。是的,人口中的一部分人做过专家访谈。为什么因为成本高昂、复杂性高且难以证明其合理性?你不能对每个决策都使用它,但现在可以了。
我们把成本降得更低,速度提得更快,并且将其深度嵌入到系统中。这就是Qualitate最终的发展方向:我们将深深融入用户的基础设施中,让他们能够运行这些系统,因为速度更快、成本更低。你不可能继续维持每次2000美元的通话费用,没有人会基于此扩展他们的基础设施。这些只是停留在顶层的交易性呼叫。
我总是问企业家们,在这段旅程中你最大的失败是什么?你从中吸取了什么教训想要分享给他人,希望他们不要重蹈覆辙?很多人笑了。Sagar说:“这也是大家常说的话。”他承认自己在职业生涯中犯了很多错误,认为有几件事如果做得更好会更好。从技术角度来看,在Qualitate初创时,我们同时构建了四到五个不同的业务:试图建立自己的受访者小组、开发自己的访谈员工具以及构建SaaS应用程序。我们同时针对所有用户群体,但 hindsight(后见之明)显示,如果当初能加倍专注于其中少数几个领域起步会更好。
因为我们承担的范围太大而人员太少,当时我们只有10到11人,现在接近50人。第二点遗憾是希望更早推出定制AI访谈员产品。记得第一年,我们只是用这个工具主动捕获数据。因此,优先级排序是一个失误——没有尽早推出如今为Qualitate带来最多收入的产品。这也算是后见之明吧,他后悔没有更快地扩大销售团队。这很棘手,因为要判断是否有产品市场契合度(PMF)。他认为早期就有了PMF,但自己做了太多创始人销售工作。如果更早规模化这一环节,可能是更明智的选择。
听众常说:“你们总是有10个工程师,然后融资,接着得搞定市场进入策略。”Doug表示看来你们从之前的尝试中学到了很多,现在做得风生水起。时机和地点都对了。Sagar感谢Doug的邀请。最后,请确保在你喜欢的播客应用中关注“Pitch to PM”,不要错过任何一期节目。本节目由Pitch the PM拥有版权,未经书面许可不得重播。