数据科学与AI的共生循环

数据科学已存在数十年，而人工智能（AI）正迎来其高光时刻。然而，所有发生在AI领域的事件都建立在数据科学长期工作的基础之上。例如，所谓的“AI嵌入”本质上只是一系列数字，如果背后的数据未经过清洗或处理，这些数字就没有意义。同样，“大型语言模型的质量仅取决于其训练数据集”。过去是数据科学支撑AI，如今这种影响正在反向流动：数据科学家现在利用AI来标记数据和生成合成数据。这意味着训练集依赖于由模型生成的标签和合成数据，从而形成了一个闭环：数据喂养模型，而模型反过来影响数据的准备方式。

"Everything happening in AI, it all sits on top of all the work that data science had been doing the whole time."

由于两个领域都存在大量行话，作者Martin和Aaron分别设计了“数据科学周期表”和“AI周期表”，旨在作为学习辅助工具，帮助理清这两个领域的复杂结构及其相互作用。

数据科学周期表的结构解析

数据科学周期表没有官方版本，而是由作者设计的结构化工具。该表格模仿化学元素周期表的逻辑，每个单元格代表一个“元素”，拥有名称和两字母符号。表格的行追踪数据的成熟度，列则代表不同的功能组。

  • 第一行（原始数据）：包含直接从源头获取的数据，如ET（Extract, Transform and Load，提取、转换和加载）以及数据清洗。
  • 第二行（准备就绪的数据）：涵盖Di（Data Ingest，数据摄入）和En（Encoding and Coding，编码与编程）。
  • 第三行（建模数据）：这是实际发生模型构建的地方，包括聚类、聚合等操作。
  • 第四行（经过验证的洞察）：数据在此处受到治理和审计，数据治理位于此行列。

在列（Groups）方面，分为获取、准备、建模、生成和评估。此外，底部还设有一个量子附录（Quantum Addendum），包含五个不属于经典数据科学但在涉及量子技术时出现的元素，如量子编码（Quantum Encoding）和量子指标（Quantum Metrics）。

"Each cell is an element with a name... The rows track the maturity of data."

AI周期表的五大群组与四层架构

AI周期表由顶部的五个群组和侧边的四行组成。Martin设计的这一模型旨在系统化AI组件，尽管它没有像数据科学周期表那样的量子附录。

  • 群组一：反应性（Reactive）：处理输入并执行操作，典型代表是智能体（Agents）。
  • 群组二：检索（Retrieval）：构成AI的记忆侧，包括嵌入（Embeddings）——将信息编码为数字的方式，以及存储这些数字的向量数据库。
  • 群组三：编排（Orchestration）：协调各个部分的工作，例如RAG（检索增强生成）。
  • 群组四：验证（Validation）：确保系统诚实可靠，包括护栏（Guardrails）和红队测试（Red Teaming）。
  • 群组五：模型（Models）：包括大型语言模型（LLMs）以及能在回答前进行推理的“思考型模型”。

在行（Rows）方面，分为原语（Primitives）、组合、部署和新兴技术。其中，“原语”是原子构建块，仅包含三个元素：提示（Prompt）、嵌入（Embed）和LLM。组合层包括函数调用等，而部署层则包含框架等技术。最后，“新兴”类别聚集了如多智能体系统（Multi-agent systems）等仍在 gaining traction 的新事物。

"We've got reactive... retrieval... orchestration... validation... and models."

案例实战：构建企业文档问答系统

为了展示两个周期表如何协同工作，作者以“与文档对话（Document Q&A）”为例。假设一名财务分析师提问：“生成式AI代币的价值与我们在数字和人工工人上的投资有何关系？”系统必须确保答案基于公司文档、带有引用，且不泄露超出权限的信息。这一系统由12个元素构建（数据科学6个，AI 6个）。

首先从ET（提取、转换和加载）开始，将分散在SharePoint、Confluence等处的HR政策集中。Di（数据摄入）确保管道中的信息是最新的，例如每周更新的政策。接着进行CD（Data Cleansing，数据清洗），去除PDF中的页眉、水印和OCR错误，遵循“垃圾进，垃圾出”的反面原则。随后是ST（Structured Data，结构化数据），将文档按章节分块并标记元数据（如部门、生效日期），使其可查询。最后，En（编码与编程）将分类元数据转换为系统可用的过滤形式。这些步骤构成了坚实的数据基础，确保AI模型不会基于过时或脏数据产生幻觉。

"Garbage in, garbage out... we want it [garbage] out."

从数据治理到语义检索的预处理阶段

在构建AI与数据科学协作模型时，首先需要明确数据治理（Go）的核心地位。这一元素涉及权限控制和审计追踪等关键机制，其重要性在于防止系统错误地引用分析师无权查看的文档。正如对话中强调的那样：“如果未强制执行数据治理，系统可能会愉快地引用分析师实际上无权查看的文档。”这意味着即使数据科学完成了其工作，若缺乏严格的治理，AI输出的准确性与合规性将无从保证。

在确保数据权限无误后，流程进入嵌入（EM）阶段。该步骤旨在将清洗后的文本片段转化为数字向量，即通过算法使语义相似的段落获得相近的向量表示。这是实现语义搜索（Semantic Search）的基础原理，使得系统能够理解查询意图而非仅匹配关键词。随后，这些生成的向量被存储于矢量数据库（Vx）中，以便在运行时进行高效检索。这一系列操作均属于推理前（Pre-inference）的数据准备阶段，其核心目标是让数据能够被AI模型准确发现和理解。

运行时检索增强生成与输出防护

当金融分析师提交查询时，系统启动检索增强生成（RAG, Rg）流程。首先，用户的查询被转化为向量并在矢量数据库中检索最匹配的文档片段。数据治理（Go）在此环节再次介入，决定哪些片段是分析师真正有权访问的。只有经过权限验证的相关片段才会进入下一步处理。

接下来，这些检索到的文档片段与分析师的问题共同嵌入到一个提示模板（PR）中。这种机制被称为“接地”（Grounding），即通过提供相关文档上下文，确保大语言模型不会幻觉式地编造答案。随后，大型语言模型（LG）基于这些接地信息生成最终回答。最后，系统通过护栏（GR, Guardrails）对输出进行最后一道过滤，检查引用声明是否确实出现在源文档中，以及是否存在需要脱敏的个人身份信息（PII）。这一线性流程确保了从输入到输出的每一步都受到严格控制和验证。

基于数据漂移的闭环优化机制

线性流程虽然高效，但系统若要在运行中持续改进，必须建立反馈闭环。为此引入了三个新元素以将线性反应转化为循环系统。数据漂移（DR, Data Drift）负责监控流经管道的分布变化，例如查询嵌入的聚类差异或用户反馈率的下降。当这些指标偏离基线时，DR会触发警报。

一旦检测到漂移，团队利用AI生成合成数据（Synthetic Data），特别是针对失败模式的问答对。这些合成的Q&A对随后成为微调（Ft, Fine-tuning）阶段的训练数据，用于重新训练嵌入模型。每个问答对都向模型指示：该问题在向量空间中应靠近特定的文档片段。“随着模型的重新训练，我们的内部词汇聚类围绕正确的答案块”，从而提升了嵌入模型在检索时的准确性。改进后的嵌入模型（EM）重新投入生产环境，使得用户无需手动更新系统即可获得更精准的回答。这一机制生动地证明了：“现实世界的AI运行在良好的数据科学之上”，两者通过周期表式的元素协作，共同驱动系统的持续进化。

结论

视频论证表明，AI与数据科学并非替代关系，而是通过“周期表”元素构建的共生闭环。核心结论是：AI系统的可靠性完全依赖于数据科学提供的清洗、治理及结构化基础，而现代数据科学家则利用AI生成合成数据进行模型微调。案例显示，通过整合ET、治理（Go）、嵌入及RAG等12个关键元素，可构建具备权限控制与防幻觉能力的企业级问答系统。

该架构的优势在于实现了从数据准备到运行时验证的线性控制，并通过监控数据漂移触发合成数据微调形成持续优化循环。其适用条件为需要严格合规与准确引用的企业场景，短板在于流程复杂度高且依赖高质量的初始数据治理。最终证明现实世界的AI运行建立在坚实的数据科学基础之上，两者协作驱动系统进化。