数据科学已经存在了几十年，而今天人工智能正迎来它的时刻。但AI中发生的一切，都建立在数据科学一直以来的工作基础之上。没错。那么什么是AI嵌入？它只是一系列数字，直到背后的数据被清洗完毕；或者大型语言模型的好坏完全取决于其训练数据集。现在这些技术都依赖于良好的数据科学，而最近这种影响也反过来作用了：人们正在使用AI来标记数据和生成合成数据。训练集都依赖于这些模型所基于的标签和合成数据。所以我们可以将其视为一个循环：数据喂养模型，而最近模型又反馈回数据的准备过程中。
在数据科学和AI之间有一个共同点，就是双方都有大量的行话。确实如此。这就是为什么我们尝试将数据科学和AI整理成周期表的原因。让我们快速回顾一下数据科学的周期表是什么样的：这就是数据科学周期表。需要指出的是，并没有官方认可的数据科学或AI周期表。马丁和我提出这些是为了作为学习辅助工具，但其结构类似于化学元素周期表。每个单元格是一个带有名称的元素，例如“提取、转换和加载”，我们称之为ET（两个字母的符号）。
行追踪数据的成熟度。第一行是原始数据，即直接来自源头的内容。“提取、转换和加载”以及“数据清洗”就位于这一行。第二行是预处理后的数据，包括数据编码和数据标记。第三行进行实际的建模工作，即模型数据，聚类、聚合等都位于这一行。底部称为“验证见解”，此时数据已受到治理和审计，因此数据治理位于这一行。
在组（列）方面，第一列称为“获取”。接着是预处理、建模、生成和评估。此外，底部还有一个所谓的“量子附录”，包含五个不属于经典数据科学但在涉及量子技术时出现的元素，例如量子编码和量子指标。这就是数据科学方面。现在轮到马丁了。谢谢艾伦，这是AI周期表。与艾伦不同，我不够聪明，没能想出量子附录。无论如何，这个表格顶部有五个组，侧面有四行。我先介绍这些组：第一组是“反应性”，即接收输入并对其进行操作的事物，例如智能体。
第二列是检索，这本质上是AI的记忆方面。这里包括嵌入（如何将信息编码为数字）以及存储这些数字的地方，如向量数据库。第三列是编排（Orchestration），即各部分如何协调工作，例如RAG（检索增强生成）。第四列是验证，涉及保持系统诚实的任何事物，如护栏和红队测试。最后一组是模型，当然包括大型语言模型（LLM），还包括在回答之前进行推理的思维模型。
关于行，我们有原语（Primitives），即原子构建块。表中只有三个：提示、嵌入和LLM。然后是组合，例如函数调用。这是在生产中运行的内容，位于部署部分之下。在“部署”下包括框架等事物。最后是一类新颖且仍在获得关注的事物，归类为“新兴”，例如多智能体系统。这就是AI方面。现在让我们将这两个表格结合起来使用：周期表预测反应，而反应是由这些表格中的元素构建的实际工作系统。
让我们通过一个例子来说明。马丁，我们要选哪个？嗯，如何成为每个企业AI采用者最喜欢的功能：文档问答（与你的文档对话）。假设一家大型公司的财务分析师在聊天中输入：“生成式AI代币的价值与我们在数字和人力工人上的投资有何关系？”这里的担忧是，如果任由模型自行其是，它可能会产生幻觉回答。我们需要确保答案基于实际的公司文档，最好带有引用，以便我们确信这一点，并且不能泄露分析师权限之外的任何信息。
我认为我们可以使用来自两个表格的12个元素来构建这个系统，即我的那边六个，你的这边六个。好吧，你先开始吧，因为我认为你会告诉我良好的数据科学是这一切的起点。确实如此。那么我们从第一个元素ET开始，它代表“提取、转换和加载”。如果我们有人力资源政策和生成式AI政策，它们分散在各个地方——可能在SharePoint、Confluence、文件共享中，甚至是一些晦涩的维基页面。ET会将它们全部提取到一个地方。
ET发生的频率如何？像是一次性吗？我正要说到那个，然后……这就是下一个元素出现的地方。我们称之为第二个元素DI（数据摄取）。政策每周更新，所以DI保持管道中的信息是最新的。我们不想让模型将去年的政策当作当前的来传递。没错，然后是第三个元素CD（数据清洗）。PDF带有信头、花边、水印以及我们不想看到的OCR垃圾。CD会去除这些不必要的东西。是的，垃圾进，垃圾出，对吧？完全正确。我们要通过CD把这些垃圾清除出去。
这就引出了第四个元素ST（结构化数据），以便每个文档按部分分块，并标记元数据如部门、生效日期甚至敏感度。现在这些数据可以查询了吗？嗯，“可查询”不是一个真正的单词，但我明白你的意思了。这就到了第五个元素EN（数据编码）。现在分类元数据如部门、敏感度层级、语言等，被转换为系统可以过滤的形式。这也是数据科学和编码交汇的地方。
开始看起来非常像AI嵌入（Embeddings）。现在，这些嵌入来自我桌上的亚伦的表格，所以让我们暂时只关注你的表格。好的，没问题。但你有一个叫做“Go”的元素。我们说的是G-O，实际上是指数据治理（Data Governance），对吧？比如权限管理和审计追踪之类的。这一点超级重要，因为如果数据治理没有得到严格执行，系统可能会愉快地引用分析师无权查看的文档。
那么，数据科学确实完成了它的任务。现在轮到你们介绍AI相关的元素了。既然你已经提到了……我们要讨论的第一个是嵌入（Embeddings），即E-M。每个清洗后的文本块都需要变成一个数字，或者更具体地说是一个向量。嵌入技术将单词转化为数字。是的，这样相似的段落就会获得相似的向量。这就是语义搜索的工作原理。
一旦我们创建了这些数字，就需要把它们存储在某个地方以便日后检索。为此，我们将使用元素Vx，代表向量数据库（Vector Database）。这些向量现在可以在运行时用于语义搜索。到目前为止，所有这些都是在推理发生之前执行的任务。
然而，让数据准备好被AI模型找到确实至关重要。那么当一位金融分析师提交第一个查询时，运行时究竟会发生什么呢？没错，我们已经完成了所有前期工作，但现在人们正在发送查询。我们要做的第一件事是进入元素Rg，即检索增强生成（RAG）。当一个问题在聊天机器人中出现时……
问题被嵌入，然后向量数据库会查询最匹配的结果，并返回顶部的文本块。元素Go（数据治理）决定了分析师究竟有权检索哪些文本块，哪怕是在最初阶段也是如此。完全正确。那些被允许的文本块会进入下一个元素PR。基本上，我们将把这些检索到的文本块与分析师的问题一起嵌入到提示词模板中。
这就是我们之前提到的“落地”（Grounding）。与分析师查询相关的文档片段现在被嵌入到提示词中。模型不需要编造答案了。是的，完全正确。然后我们就引入了模型。LG（大型语言模型）生成一个确实基于这些检索文本块的答案，最后的阶段是GR。
那是护栏（Guardrails）。它可以说是输出的最后一道过滤器。所以，引用的声明是否真的出现在源文件中？在分析师看到之前是否有需要隐藏的个人身份信息（PII）等类似情况。这就是我们用于文档问答用例的AI和数据科学流水线。
这是一个线性反应过程，数据单向流动……好吧，然后因为光板不够宽，所以又反向流回。问题是输入，答案是输出。没错，一旦答案交付，流水线就仿佛从未运行过一样将其遗忘。那么系统是如何随着时间的推移变得更好的呢？
随着系统的运行，我们会收集关于哪些查询成功、哪些失败的信号。没错，并非每个答案都一定是赢家。也许对于某些问题，检索返回了不相关的文本块。因此，我们将增加三个元素，将我们的线性反应转化为一个循环。
第一个是我们所谓的DR，代表数据漂移（Data Drift），在这种情况下我们也称之为漂移。但DR会监控流经流水线的事物分布，比如查询嵌入的聚类方式是否发生变化，或者甚至观察用户反馈率的下降。当这些分布偏离基线时，它就会触发警报。
然后我们进入合成元素（Synthetic Elements），这实际上意味着合成数据。一旦DR标记了漂移，团队就会使用AI生成这种合成数据问答对，以覆盖失败的模式。真棒。合成数据实际上出现在我们的两张表中。所以这很酷。
然后我们进入FT，即微调（Fine-tuned）。这些合成问答对成为嵌入模型的训练数据。每一对都告诉模型，这个问题在向量空间中应该靠近这个特定的文本块。随着模型重新训练以及我们的内部词汇围绕正确的答案文本块进行聚类，改进后的嵌入模型将返回到EM（Embedding）。
没错。我们现在完成了这个小循环。系统从运行中学习到的内容将被反馈回来以使其变得更好，用户——比如我们亲爱的分析师们——随着时间的推移会获得更好的答案，而无需任何人手动更新系统。
我认为这很好地引出了我们在最开始提出的观点。因此，虽然AI流水线非常重要，但这些现实世界中的AI实际上依赖于良好的数据科学运作。是的，而且AI和数据科学都有许多晦涩的术语来解释它们的功能。希望我们的周期表能帮助理清这些概念。
马丁，我们要不要谈谈量子周期表的元素？是的，我认为那将是另一整期光板视频。说得好。所以请查看我们专门关于AI和数据科学周期表的视频，以了解更多相关内容。谢谢。