我叫苏卡伊娜，是一名AI技术负责人。今天我来谈谈，当演示文稿声称“70%自动化”时，技术尽职调查会发现什么。有人可能向你展示过这样的数字：快了55.8%。你一直在犹豫是否该相信它。好吧，这个数据来自一项受控实验，涉及95名专业开发人员。但任务是基于模板构建的一个JavaScript HTTP服务器，并针对12个可见测试用例进行验证。今天，我将为你提供在AI时代技术尽职调查中发现的三个检查点。
实际上，我在这一问题的正反两面都投入了超过80年的时间。在正面（买方），我构建了投资专业人士使用的AI系统；在建设方，我现在领导生产环境中的AI评估工作，并协助生成那些呈报给高管的数据。危险数字并不总是伪造的；它往往是一个真实的测量值，却被引申为它无法支持的结论。春灿（Chun Chan）很好地描述了买方的一面：“为了备忘录而构建，而非为了演示。”我想将这一标准扩展到运营指标上。
第一个检查不需要了解模型知识，它是纯粹的算术逻辑。在Faros的观察性数据中，高AI采用率团队合并的拉取请求（Pull Requests）多出98%。然而，拉取请求审查时间增加了91%，且平均每个拉取请求的大小增大了154%。样本涵盖了超过1,255个团队中的10,00多名开发人员。这并不能证明AI增加了人力编制，这是一种观察性遥测数据，而非受控的劳动力研究。但它仍然给我们一个警告：更多的工作进入了系统，下游的审查负担也随之增长。
因此，在尽职调查中，要求公司提供其过去18个月的理论依据。将工作量体积与完全负荷的人力成本并列计算。统计所有因为AI而存在的工作岗位，例如操作员、审查员（reviewer reviewers）、训练师以及处理升级和返工的人员。如果人力成本与工作量体积相匹配，那么演示文稿描述的只是辅助作用，而非劳动力移除。但当算术逻辑通过时，定义调用仍然可能失败。
例如，Uber声称其70%的拉取请求归因于AI。这令人印象深刻，但它并未告诉我们完全自主的比例。期间和总计数也未披露。因此，每一个自动化声明都位于这个阶梯的某处：要么是AI起草，要么是人类编辑，要么是人类批准，要么没有任何人类干预。金融领域对于最后一种情况有一个有用的术语，称为直通处理（Straight-through processing）。
将其定义为在你指定的边界内完全端到端且无人类干预的过程。那么，这里的边界在哪里结束？是在代码起草时，还是在拉取请求被批准时，或者当变更到达生产环境时？请记住，“归因于AI”和“自主运行”是两个不同的声明。好的，现在假设定义是精确的，我们能信任测量结果吗？
Meta发现，在调整人类基线后，自动评分器与合并决策之间存在24个百分点的差距。来自三个存储库的四名维护人员审查了跨不同唯一问题的296个AI生成的拉取请求。他们不知道补丁是来自AI还是人类。自动评分器比负责接受工作的评审人员要乐观得多。这并不令人惊讶，我从另一侧也看到了同样的情况。
在我参与的一个项目中，10个输出中有10个通过了自动验证。一旦将专家引入讨论，几乎没几个能幸存下来。这就是为什么评估成熟度是我首先关注的可信度信号。因此，始终要问谁标注了地面真值（ground truth），专家是否同意，以及是否有任何人衡量这种一致性。询问自动评判者是根据什么进行验证的，并询问哪些糟糕的输出逃脱了检测。
当算术、定义和评估都通过时，它仍然必须转化为决策，对吧？这并不是说弱AI定位导致了Builder.ai的崩溃。其破产涉及超出AI声明范围的收入和融资问题。尽职调查的课程早在2019年就开始了，当时《华尔街日报》公开质疑了AI能力的声明。
在2025年5月，《金融时报》也报道，其2024年的收入估计已从2.2亿美元修订为约5,500万美元。6月2日，该公司申请了第七章破产保护。因此，警告一直存在，但流程并未将其转化为关卡。所以，即使一个声明通过了这些检查，它仍然必须经受住经济学的考验。
首先从合格的工作流价值开始应用实际采用率、直通处理成功率和可接受的质量。然后减去AI成本、人工审查、升级和返工的成本。我想要关注的指标是“已接受自主任务的成本”。如果任务失败、升级或需要返工，这些都属于成本。因此，始终将这些检查结合起来，这是我可能会带到下一次会议中的卡片总结。
总结一下三个主要检查点：第一是算术逻辑，将工作量体积与完全负荷的人力成本进行比较；第二是定义，识别特定工作流内的错误率和直通率；第三是信号（Tell），询问谁定义了质量，专家是否同意以及哪些输出逃脱了检测。然后仅将幸存的声明转化为单位经济学数据。
当然，要么相信经过测试的数据，要么离开。所有来源笔记中的可打印卡片都在网站上，这个二维码将引导你前往那里。所以，拿一张卡片，扫描它，打印出来，并带到你的下一次供应商会议或投资讨论中。始终记住，尽职调查的工作不是问这个数字是否令人印象深刻，而是问为了使这个数据有意义，必须为真的条件是什么。谢谢。