演讲者背景与“边缘技术”的混乱美学
Vincent Koc 是 Comet 的评估研究员，长期为 Uber、Netflix 及英国银行等机构提供基准测试服务。他自称为“友好的极客”，热衷于在技术前沿进行高风险实验。他分享了自己早在 2013 年使用 VR 头显的经历：当时设备带有“仅使用 5 分钟”的警告标签，但他坚持使用了 3 小时，随后呕吐了 3 小时。这一经历揭示了一个核心观点：在技术边缘进行的任何测量和实验，本质上都是混乱且怪异的，但这正是创新的乐趣所在。
“Anything we do in technology, anything on the edge is going to be janky, it's going to be weird. And that's kind of fun, in my opinion.”
Koc 指出，当前 AI 评估领域存在一种讽刺性的说法，即“评估已经死亡”。虽然这听起来像是一个玩笑，但其中包含部分真相。传统的软件工程通过单元测试、回归测试和 CI/CD 管道来确保软件按预期工作，并通过混沌工程（Chaos Engineering）来主动破坏系统，以发现其极限和脆弱点。然而，当前的 AI 评估体系严重缺失了这种“混沌”视角，导致我们只关注静态指标，而忽视了系统在动态环境中的真实表现。
静态基准测试的局限性与“黑盒”困境
在传统的 AI 和数据科学实践中，评估方式高度依赖静态基准测试（Static Benchmarks）。例如，在评估 AI 的风险合规性时，工程师会手工构建一组问题，确保 AI 不会违规推荐金融服务，然后在部署前进行离线循环测试。这种方法虽然能确保模型在特定测试集上的完美表现，但完全缺失了混沌工程的空间，即不知道系统在极端或意外情况下会如何崩溃。
这种对静态基准的过度痴迷导致了学术界的怪象：研究人员不断创造新的基准（如“LLM 对加法运算的看法”），但这些基准往往无法解决实际问题。企业因此积累了海量的数据集，试图通过数据来解释 AI 的行为，直到系统真正出错。Koc 强调，AI 应用并非静态软件，但我们却用静态软件的标准来衡量它们。当系统出错时，由于缺乏动态测试数据，团队只能回到原点重新排查，陷入无尽的调试循环。
从提示工程到自适应评估的思维转变
回顾 AI 发展史，早期的提示工程（Prompt Engineering）类似于“盲目试错”：开发者像制作药物一样，向 AI 输入随机词汇， hoping 能产生创意或解决特定问题（如肝病药物意外成为止痛药）。尽管这种非科学的方法在 2023 年后逐渐式微，但其核心逻辑——通过随机输入探索系统边界——仍然具有启示意义。当前的评估体系未能继承这种探索精神，而是固守静态测试。
Koc 提出，随着 OpenClaw 等自适应系统的出现，软件本身正在快速演变，测试框架也必须随之改变。他引用了一篇关于“LLM 评估的自适应测试”的论文，指出为什么基准测试必须是静态的？ 这一反问揭示了行业痛点。理想的评估应当是选择性且智能的，能够随着应用的变化而动态调整。这种思维转变要求我们从“验证已知”转向“探索未知”，通过自适应测试来捕捉 AI 系统在动态环境中的真实能力与边界，而非仅仅在静态数据集上刷分。
“Why are stat benchmarks static? Like why don't we test in a more sort of adaptive manner?”
Koc 总结道，这种从静态到自适应的转变不仅是技术层面的升级，更是评估范式的根本性迁移。只有当测试框架能够像 AI 应用本身一样具备“可塑性（Malleable）”时，我们才能真正理解并掌控这些复杂系统的行为。
从上下文工程到模块化评估的初步演进
随着AI应用复杂度的提升，评估方法逐渐从简单的问答转向更复杂的上下文工程（Context Engineering）阶段。这一阶段涉及数据输入、搜索集成以及通过RAG（检索增强生成）和工具调用（Tool Calling）来引导智能体的行为方向。这种复杂性使得评估变得更具相关性，因为系统不再是单一的黑盒，而是可以被拆解的模块。例如，在一个大型智能体系统中，组织可以将系统分解为各个部分，针对特定的MCP（模型上下文协议）工具进行测试。如果某个工具负责销售代理功能，开发者可以专门验证该工具是否按预期执行特定任务。这种将大型智能体拆解为可测试部分的过程，使得评估变得更具可控性和可理解性，尽管它仍未完全解决核心问题，但为后续更复杂的评估奠定了基础。
2025年趋势：低成本Token与意图工程的崛起
进入2025年，评估范式面临新的转折点。核心变化在于Token成本的降低与速度的提升，这使得软件和应用开发的生成速度呈指数级增长。与此同时，模型能力的提升超出了许多人的预期，它们不再仅仅是通用系统，而是能够解决如ARC-IG2等复杂谜题的专家。这些谜题对人类而言极具挑战性，但LLM能够通过模式识别（Pattern Recognition）有效解决。这一能力引出了意图工程（Intent Engineering）的概念，即机器能够基于意图进行自我优化。在OpenClaw、Claude和Codex等框架中，系统试图理解用户意图并适应个体差异，从而提供个性化体验。然而，这种适应性带来了评估的新难题：如何量化不同用户之间体验的差异？当机器具备意图感知能力时，传统的静态评估方法显得捉襟见肘，因为评估对象变成了动态变化的交互过程，而非固定的输入输出对。
评估僵化与动态自我修复机制
尽管有人调侃“评估已死”或“可观测性已死”，但实际上，随着智能体应用内部复杂性的增加，对系统内部状态的监控需求反而更加迫切。当前的痛点在于“评估僵化（Eval Calcification）”问题，即我们仍在使用静态基准测试和手工创建的离线评估，而实际应用场景已转向基于意图的动态结果。为了解决这一问题，未来的评估体系需要实现几个关键转变：
- 定义模糊性与个性：不再仅关注“1+1=2”式的绝对正确，而是评估智能体的个性定义和模糊性处理能力，类似于学校评估艺术作品的评分标准。
- 基于Trace的自我策展：利用应用运行产生的Trace数据，让智能体自我策展评估套件。例如，当客户群发生变化导致行为模式改变时，系统应能检测到这种漂移并自动调整测试套件。
- 持续在线评估优化：将评估作为始终在线的服务，而非一次性离线测试。
- 遥测闭环（Telemetry in the Loop）：这是最高级的形态。当智能体或MCP应用出现错误、成本超标或性能瓶颈时，评估框架能够感知这些遥测数据并触发自我修复机制。系统不再仅仅是预测错误，而是利用数据反馈使自身具备某种程度的自愈能力，从而打破静态评估的局限。
"We can do online always-on evaluation optimizations... if the harness is aware of the telemetry it's aware of like what's breaking, it's aware of like how much it's costing... it can kind of self-correct itself."
"I'm kind of calling this like a calcification problem, like the or eval calcification... it's just going to like become harder and harder unless we can get some kind of smart about it."
"Instead of saying, you know, 1 + 1 = 2... It's like how do we deal with how do we define ambiguity in agent? How do we define personality inside of an agent?"
从静态数据集到动态目标：评估范式的根本转变
传统的评估方法往往将评估视为一个静态的数据集或起点，但在自适应系统中，这种思路已显滞后。演讲者提出，评估应当被重新定义为“我们想要达到的最终状态”，而非固定的测试用例。在这种新范式下，评估不再是人工预设的终点，而是引导机器自我修正和优化的奖励信号。例如，在 Kapathy 的自动研究项目中，通过设定目标和奖励机制，系统能够自动进行 Python 层面的微调与优化。无论是寻找“最美味的烧烤配方”还是“最便宜的烧烤组合”，核心逻辑一致：只要设定了明确的意图和奖励信号，机器就能自动寻找最优解。这意味着，评估的本质从“检查是否匹配数据”转变为“引导系统向特定意图收敛”。
应对那 20% 的动态混沌：评估即代码
在实际业务中，80% 的场景是静态且可定义的，但真正导致系统崩溃或用户体验灾难的，往往是那 20% 的动态变化部分。这 20% 包括用户提出的奇怪问题、非典型的使用方式或不可预见的边缘情况。如果评估体系不能适应这 20% 的变化，企业将面临巨大的维护成本。因此，演讲者强调，评估不应被视为时间点上的静态快照，而应被视为“代码”或“软件”。它需要像软件一样具备版本控制、迭代能力和自我优化特性。我们需要创建能够管理和维护这 20% 动态变化的智能体，让它们持续监控并调整评估标准，从而适应不断变化的问题空间。
拥抱代理思维：评估系统的自我进化
随着 AI 智能体（Agents）的引入，问题空间和数据集本身也在发生偏移。传统的静态评估无法捕捉这种动态变化，因此必须采用“代理思维”（Agentic Mindset）来处理评估问题。演讲者指出，评估体系本身也应成为一个“活着的智能体”，具备自我优化和生长的能力。虽然 Comet 的具体实现案例尚未完全展示，但核心理念已清晰：评估不再是被动的人工测试，而是主动的、持续进化的解决方案。对于从事软件工程和 AI 智能体开发的专业人士而言，必须认识到智能体会自我演变，因此评估工具也必须随之进化，以应对不断变化的业务需求和技术环境。
"So, then our evals don't become the data set or the starting point, our evals become like what is the end state that we want to get to and then we just let the machines do the work."
"It's that 20% that's going to mess up your business... So, how do you kind of create agents to kind of manage and maintain that 20% and keep an eye on it and then adapt and change your evals?"
"I think people need to start looking at the evals not as this like static data set thing, but actually as like code as like software or as like a a living agent, not as a point in time, but as like a self-optimizing growing solution."