背景:当“70%自动化”成为营销话术
Soukaïna Abelhad 是一位拥有丰富经验的 AI 技术负责人,她曾在投资界构建供专业人士使用的 AI 系统,目前则领导生产环境中的 AI 评估工作。她指出,在技术尽职调查中,最危险的数字往往不是伪造的,而是真实的测量结果被强行推导至其无法支持的结论。这种“为备忘录而构建,而非为演示而构建”的现象在运营指标中尤为常见。例如,某项声称“55.8%更快”的数据虽然来自包含9名专业开发者的受控实验,但其任务仅是基于模板构建一个 JavaScript HTTP 服务器并应对12个可见测试。这种特定场景下的效率提升,并不能直接等同于企业级 AI 自动化带来的整体生产力变革。因此,投资者和决策者需要一套严谨的检查框架来穿透这些营销数字。
“The dangerous number is not always fabricated. It's often a genuine measurement carried into a conclusion it cannot support.”
第一重检查:算术逻辑与工作量悖论
第一项检查无需了解具体模型,纯粹基于算术逻辑。Soukaïna 引用了 Faros 的观测数据作为警示:在高 AI 采用率的团队中,合并(merge)的拉取请求(Pull Requests, PRs)数量增加了 98%,PR 审查时间延长了 91%,且平均每个 PR 的大小增加了 154%。该样本覆盖了超过 10,000 名开发者和 1,255 个团队。这些数据并非证明 AI 增加了人头,而是观测遥测数据所揭示的工作量激增现象。当更多工作进入系统时,下游的审查负担也随之增长。在尽职调查中,应要求公司提供过去 18 个月的理论模型,将工作量体积与完全加载的人力成本进行对比。如果人类劳动总量随工作量同步增长,那么 AI 仅起到辅助作用而非劳动力替代。
“More work entered the system and the downstream review burden grew with it as well.”
第二重检查:定义边界与“直通率”陷阱
即使算术逻辑成立,定义的模糊性仍可能导致误导。以 Uber 为例,其宣称 70% 的拉取请求由 AI 归属(AI attributed)。这一数字看似惊人,但并未披露统计周期和总计数,且“AI 归属”不等于“完全自主”。Soukaïna 提出自动化存在一个阶梯:从 AI 起草、人类编辑、人类批准到无人类干预。金融领域有一个关键术语叫“直通处理”(Straight-through processing),即在一个明确定义的边界内,端到端无需人类干预。尽职调查必须厘清这个边界:是代码起草完成、PR 批准,还是变更上线生产环境?“AI 归属”和“完全自主率”是两个截然不同的概念。如果边界定义不清,所谓的自动化比例就失去了可比性和实际意义。
“AI attributed and autonomous are two different claims.”
第三重检查:评估成熟度与专家共识
定义精确后,需验证测量的可信度。Soukaïna 指出评估成熟度是首要的可信信号。Meta 的一项研究发现,在经过人类基线调整后,自动评分器与合并决策之间存在 24 个百分点的差距。在一项涉及三个仓库、由四名维护者审查 296 个 AI 生成 PR 的实验中,评审人员不知道补丁来源。结果显示,自动评分器比负责接受工作的人类专家更加乐观。Soukaïna 分享了自己的经历:在一个项目中,所有 10/10 的输出都通过了自动验证,但一旦引入专家审查,几乎没有任何输出能幸存。这揭示了自动化评估的局限性。必须询问谁定义了“真值”(ground truth),专家是否同意,以及是否有测量这种一致性。
“One of the projects I worked on, 10 out of 10 output would pass the automated validation. Once you bring the experts on the table, barely few survive.”
案例警示:Builder.ai 的破产与尽职调查失效
Soukaïna 引用 Builder.ai 的案例说明,即使声称通过了上述检查,若未能转化为理性的决策过程,仍可能导致灾难性后果。虽然 Builder.ai 的破产涉及收入融资等超出 AI 宣称的问题,但警示信号早在 2019 年就已出现。当时《华尔街日报》公开质疑其 AI 能力。到了 2025 年 5 月,《金融时报》报道其 2024 年收入估计从 $2.2亿 下调至约 $5,500万。最终,该公司于 2025 年 6月2日 申请了第七章破产清算。这一案例表明,尽职调查的关键在于将警告转化为决策门槛。仅仅拥有看似合理的数字是不够的,必须验证这些数字在商业现实中的可持续性。
“The diligent lesson started way back in 2019, when the Wall Street Journal publicly questioned the claim of the AI capability.”
经济账本:从宣称到单位经济学
最终的验证必须落脚于经济效益。Soukaïna 建议从“合格工作流价值”开始,应用实际采用率、直通处理成功率和可接受的质量标准。然后,减去 AI 成本、人类审查、升级处理和返工的成本。核心指标应为“已接受自主任务的单位成本”。如果任务失败、升级或需要返工,这些都应计入成本。只有当算术逻辑、定义边界和评估质量都通过验证后,才能将其转化为单位经济学模型。Soukaïna 总结了三重检查:一是算术逻辑,对比工作量与人力;二是定义识别,明确工作流内的直通率;三是评估验证,询问质量定义者及专家共识。最后强调:要么相信经过测试的数据,要么转身离开。
“The job of diligence is not to ask whether the number is impressive. It's to ask what must be true for the number to matter.”
结论
Soukaïna Abelhad 提出的技术尽职调查框架揭示了 AI 自动化宣称背后的复杂现实。她指出,“70%自动化”等数字往往掩盖了工作量激增、定义模糊和评估偏差等问题。通过三重检查——算术逻辑验证工作量与人力关系,明确“直通处理”的定义边界,以及通过专家共识评估自动化评分器的可靠性——投资者可以穿透营销话术。Builder.ai 的案例进一步证明,忽视这些警示信号会导致严重的商业后果。最终,尽职调查的核心不在于数字是否令人印象深刻,而在于验证支撑这些数字的必要条件是否在现实中成立。只有将经过严格检验的宣称转化为真实的单位经济学效益,AI 投资才具备可持续性。