女士们，先生们，欢迎来到2025年9月的《AI与机器学习月刊》。这是每月月初发送的文本文章的视频版本，涵盖人工智能和机器世界的最新动态与前沿技术，特别关注开源领域。在本期杂志中，我们将介绍后训练入门指南、大量Quen开源模型、5TB的开放视觉语言数据，以及OCR模型的圣诞季福利。让我们开始吧，直接进入正题。现在是2025年9月，我先从自己的工作谈起，分享过去一个月左右的一些成果，这是一篇生日特辑。我在9月初满32岁，祝我生日快乐。
这里还有一篇关于第23至31天的文章，记录了我在过去一年左右学到的东西。包括名言、故事和轶事等，应有尽有。内容不一定都与机器学习和人工智能相关，但其中包含许多有趣的内容。如果你喜欢，可以阅读一下。目前仍在进行中：我开始编写一篇关于大语言模型微调的教程，该教程将发布在learnhuggingface.com网站上。顺便提一下那篇关于使用Hugging Face Transformers进行目标检测的教程，当然所有代码都已完成。如果你想创建自己的自定义目标检测模型来识别图像中物体的位置，可以参考这些内容。
视频课程的视频编辑工作已接近尾声，一旦完成，链接将在此处提供，你将能够逐步观看视频课程。我们将逐行代码共同编写整个流程。让我们回到正题，是的，大语言模型微调教程将以相同的方式进行讲解，毕竟它只是“输入令牌、输出令牌”的过程。因此，如果你有一组希望输入的期望令牌和一组希望的输出令牌，那么我们可以为此创建自定义的大语言模型。我正在努力工作中，请持续关注更新。
让我们进入互联网上的一些资源。第一份是我发现的一份关于后训练入门的优秀指南。通常，大语言模型的工作流程包括预训练阶段，即你本质上是在训练下一个令牌预测的目标。这意味着拥有互联网上海量的文本数据，然后输入“棕色的狐狸跳过了”，并预测下一个令牌。但你要将其扩展到互联网上可用的所有可能组合。而后训练则是取用那个基础表示模型，并将其定制为特定用例。它可能是一个聊天机器人，也可能是结构化数据提取等应用。
这篇文章正是为此而来，而且非常出色。我特别喜欢其中的数据示例，直观地展示“这是输入，我们训练模型产生这个输出”。例如，这里可能有一个提示词：“你是一个乐于助人的助手。美国的首都是哪里？”然后我们训练模型完成类似这样的回答：如果继续往下看，有一些很棒的动手示例，展示了如何使用不同的训练目标来实现。
接着我们进入强化学习部分。在后训练之后，作为后训练的一部分，你可能需要进行偏好训练。流程可以是：预训练、后训练、偏好训练，从而使模型的输出成为人类更偏好的结果。我们来看另一个数据示例：如果问题是“美国的首都是哪里？”，回答A中注意到它在这里加了一个问号，因为当模型针对下一个令牌补全进行训练时，这是正确的目标。但人类显然更喜欢直接给出答案：不需要问号以及解释性文字；我们可能只希望看到“美国的首都是哪里？答案是……”，而不是补全整个句子。
再往下滚动，有更多示例。对于数学领域，许多新的推理模型被训练得非常擅长数学。因此你可以使用带验证的强化学习（RLVF）。这里有基于人类反馈的强化学习（RLHF），以及基于AI反馈的强化学习（AIF或RILF，即AI给模型提供反馈）。最后还有RLVF，即带验证奖励的强化学习（Verified Rewards）。
如果我们继续往下看，这里有一个很好的例子。本质上，对于RLVR（验证奖励），我们向系统提供输入，然后有一个确切的响应答案是我们所期望的。如果模型得到了这个确切的答案，无论其推理过程如何，我们都给予+1分奖励。想象一下一个被训练用于预测下一个文本的推理模型，它在数学方面可能表现不佳，但我们可以用一些包含导致正确解决方案令牌序列的数学示例对其进行微调。
我们这样做是在教模型：“我如何得到这个最终答案？”然后根据上述规则，如果获得确切奖励（即正确答案），得+1分；否则得0分。因此，我们是在训练模型始终追求+1分奖励。再往下滚动，还有一些很棒的额外资源，包括不同的强化学习方法如GRPO，以及如何评估模型等。这基本上就是“后训练101”的内容。
是的，这就是它的名称。任何想要了解后资源的人，我都会推荐这里，因为它非常棒。如果你想了解更多关于后训练的知识，请去查看一下。再次强调，我最喜欢的是那些动手数据示例，因为我的大脑就是这样工作的：输入令牌、输出令牌。如果你看到你希望给模型的输入和你期望的输出，这对理解机器学习系统来说是一种非常基础的方式。
当然模型位于这两者之间。在此向Hanfang和Karthik Abanav Sakaraman致以大大的谢意（如果我发音有误，请见谅）。这就是“后训练101”。接下来是Hugging Face TRL。Transformers Reinforcement Learning（TRL）现在支持原生的视觉微调功能。TRL是一个用于大语言模型微调的库，它可以进行“视觉语言模型对齐”。当有人提到“对齐”时，我将其理解为微调。也就是说：“我们希望我们的模型做到这一点：给定这个输入，执行这个操作。”
同样地，我看待它的方式始终是：“你希望哪些令牌进入？又希望哪些令牌出来？”在TRL中，以前你可以微调大型语言模型（仅限文本）。事实上，这正是我们将要使用的。我们将在即将构建的教程中使用TRL……
用于微调大型语言模型。你可以使用监督式微调来实现这一点。因此，如果我们回顾一下“后训练101”上一篇文章中的内容——即给定这个例子并产生该输出，目前也有几种强化学习算法可用。现在它原生支持视觉功能了。所以你可以输入文本和图像以及期望的输出，并使用监督式微调或几种强化学习算法（如GRPO、GSPO和Aloo Reinforce Leave One Out）对其进行训练。我个人仍然偏好监督式微调，因为对我来说那是我最容易理解的范式。就像我有这个输入并期望得到那个输出一样：模型，请复制它。现在你也可以用图像来做了。所以我打算着手研究这个。可能在完成LLM教程后，我会做一个关于微调视觉语言模型（VLM）的教程，我们可能也会使用TRL。如果你希望在未来视频中看到相关内容，请在下方留言评论。否则，视觉语言模型对齐现在可用了——我称之为“对齐微调”，目前已在TRL中提供。
还有一个小彩蛋。说到TRL或微调，这是AI2研究员Nathan Lambert的一条推文，他是我最喜欢的AI机构之一，也是《RLHF》一书的作者。所以，“基于人类反馈的强化学习”。哦，我那里有个拼写错误。这就是你知道它是人写的而不是AI的原因，因为有人为的错别字。（笑声）问题是Nando在这里提出的：如果你有10k数据实例，你会用监督式微调（SFT）对LLM进行训练吗？还是先用5K数据学习奖励模型，然后用剩下的5K数据和学到的奖励对LLM进行强化学习（RL）？其他解释呢？这很简单：小模型小于150亿参数，全部使用SFT；大模型70B以上或LLM。是的，这是我的直觉。这与我的猜测一致：如果你有一个小模型，就只用SFT。根据我的经验，RL往往需要更大的规模，因为信号不如SFT那么强。SFT是“我有这个输入，我要这个输出”，而RL更像是“我更喜欢这个输出而不是那个”，尽管它们都很相似。所以，如果你有小模型，就用SFT；如果是大模型，就用RL。
接下来是Ethan Ding的文章，他是最近我在AI领域最喜欢的作家之一，主要讨论AI和云的经济性。他写关于代理（Agents）和云端的内容。那么，如果你有一个AI代理——或者说一个AI模型——你是先构建代理再构建云呢？就像Anthropic那样，他们拥有非常好的模型，并正在开发Claude Code与之配合，这正演变成各种应用等。或者如果你有云基础设施再构建代理？Google某种程度上已经有了现成的云平台，但现在他们正在开发Gemini并将两者融合。所以他们从不同的角度同时推进。而OpenAI可以说是在构建代理，并朝着建立云的方向发展。因此中间有一些初创公司，比如Bolt和Lovable是代理的用户，而Netlify（应为Vercel或类似平台，原文可能指代特定服务）和Supabase是云服务的提供商。所以Supabase提供数据库，Netlify（原文拼写可能有误）提供托管计算服务。
我非常喜欢这种“淘金热中的卖铲人”心态，真正的底层是我提供裸金属计算服务——顺便说一句Modal即将推出。在中间层你有其他工具，比如Supabase用于数据库，Bolt和Lovable是令牌流处理器。当你去Lovable并说“嘿，能帮我创建一个这样的网站吗？”他们会摄入大量令牌并输出一些内容。然后还有集成代理、托管服务以及与模型捆绑的内容，比如Claude和Anthropic（原文clawed and enthropic应为拼写错误）。我喜欢这种双管齐下的方法。对我来说，最有用的是：是的，代理可以帮助你编码，但你仍然需要这些基础工具如Supabase。例如，Neutrify（可能是指某个具体项目或笔误）运行在Supabase之上。那是我们的数据库。我们使用在这里自行训练的AI模型，并通过API如Gemini进行交互，但我们仍然将所有数据存储在一个经久考验的数据库中。
让我们看看这篇文章，我快速浏览一下以便你查看和阅读。去Ethan Ding的Substack订阅主页吧，文章很棒，我很喜欢这些文章，之前也提到过。向下滚动时你会注意到，夏季过后Google趋势数据显示了一些AI辅助编码工具的热度变化。我个人甚至还没试用过Cursor或Claude Code，我试了一点点Lovable、Replit和Windsurf（原文wind/windfur应为笔误）。哦不，不是WindFur。抱歉是Bolt和All（可能指其他工具）。我仍处于“脑力编码”阶段，不知道是不是还没进入“氛围编码”（Vibe Coding）阶段。也许是因为我变老了——我刚满32岁，所以我还是喜欢用脑子思考。因此这些工具的趋势似乎有所下降。我不确定原因，也许是因为夏天结束了人们空闲时间变少了？
但如果我们继续向下滚动，文章对令牌控制云消耗进行了很好的数学分析。所以，“令本经济学”（Tokconomics）确实很难搞。如果你提供每月20美元的费用，但有人决定使用1亿个令牌之类的东西而且没有上限，那么你的经济模型就会崩溃。因为你消耗的算力远超20美元的价值来生成那些令牌。所以，Bolt为了产生一个20美元的订阅收入，在Anthropic的令牌上花费了50美元。向下滚动我会展示这张图形的来源，在这里。就是那张图表。所以Ethan Ding的文章写得非常好，谢谢分享。
说到Modal，我们在这里看到了Modal的更新。他们发布了Notebooks（笔记本功能）。这对我来说已经接近Colab替代品的水平了。我使用Google Colab进行所有入门级实验，但Modal Notebooks本质上就是Jupyter Notebook，其后端加载速度可能是我见过的最快的。如果你了解Jupyter Notebooks，你就知道Modal Notebooks的样子。但我希望能给你一个例子展示它启动有多快。我要进入Notebooks页面，这是在我的账户上。我只是打开文档中的一个演示笔记本。我们可以设置GPU，最高可以增加到8个。我不会这么做因为那是每小时32美元，但我选择使用一个H100并点击启动。我在屏幕上放个计时器看看需要多久才能启动。初始化中，运行中。太不可思议了！那用了多少时间？大概30秒吧。如果我们运行它，设备名称显示为Nvidia H100。当然这是付费服务，但如果你只需要使用几个小时那就太棒了。比购买H100便宜多了。
好了，H100 现在可用了。让我们开始吧。购买 H100 的价格在 25,000 到 30,000 美元之间，而我们可以以每小时 4 美元的价格租用。这真的很酷。现在我们会关闭它。它们还提供自动停止功能，30 分钟后会自动停机。如果你希望获得关于 Modal Notebooks 更深入的指南，请告诉我，因为我开始尝试将这些工具注入到我的工作流程中。如果我需要比我的 RTX 4090（显存为 24GB）拥有更多内存的 GPU，这里提供的显存几乎是其四倍，因此我们可以加载更大的模型。
Modal 的这次发布真的很酷，它们加速或加载（抱歉说错了）的速度令人印象深刻。接下来我们要看一个来自 Fine Grain 的案例研究，主题是“Hugging Face 是你构建模型质量所需的一切”。让我们直接去 Fine Grain。我会先展示他们制作的内容。我之前几乎使用过所有这些工具，但让我们看看 Object Cutter（物体裁剪器）。Object Cutter 的功能是你上传一张图片。我有一张可以用的图片吗？香肠。哦，这些是食物图片，因为我正试图训练 Neutrifi 模型。让我们看看这个例子。
我们试着把牛油果裁剪出来，看看会发生什么。好了，这是一个非常棒的物体裁剪图像效果。这就是 Fine Grain 构建的模型类型，这是一种高质量的物体裁剪工具。如果你想使用植物作为对象，好了，把它裁切出来。所以如果你从事产品摄影工作，这是一个非常方便的模型工具。它是基于文本的。我相信他们在应用程序中使用 Grounding Dino 来检测边界框，然后将该框传递给分割模型，从而允许你将其裁剪出来。
现在回到这里，“Hugging Face 是你构建模型质量所需的一切”。这与我最近使用 Neutrify 以及为客户工作的流程非常相似。这是一个简单的 Web 应用程序，让测试人员与擦除模型进行互动。什么是擦除模型？简单来说，就是从图像中删除物体。选择一张图片，用画笔涂抹要擦除的物体，然后仔细检查结果。这是一种报告任何问题的方式。
对我来说，“Hugging Face 是你所需的一切”可以提升到更高层级，即“实验循环才是你所需的一切”。我的意思是：我们训练一个新模型，将其放入演示或管道中，进行练习和试用，然后找出错误所在。我们通过报告问题来修复这些错误，这正是我目前为客户处理计算机视觉问题时所做的：训练新模型，上传到 Hugging Face 的演示中。
我将该演示发送给可以试用的人。他们上传图片，看看会发生什么。然后我们通过 Slack 或 Google Sheets 记录问题（Issues），非常简单。接着我们训练新模型，并重复这一过程。因此，Hugging Face 允许你通过创建 Gradio 来实现这一点。我也使用 Gradio，并将其部署在 Hugging Face 上。他们收集自己的数据集……哦抱歉，是的，他们训练自己定制的模型，然后为了收集反馈数据，他们在 Web 应用程序上保留了一个文本界面。
他们将来自该界面的信息保存到 Hugging Face 数据集中，以便稍后进行检查。访问控制方面：因为他们是公司，你可能不希望你的演示被公众随意访问。所以你可以选择：“嘿，只有这些人可以访问这个，而不能访问那个。”下面展示的是图像或应用程序（抱歉说错了）的演示。工作流程是：上传一张图片，擦除人或物体，然后你会在这里得到前后对比图。
如果你想的话，可以在这里添加一些文本来报告出了什么问题。这将保存到数据库中。稍后你可以检查这些数据，重新训练另一个模型，部署到完全相同的界面中，然后再次尝试看看结果如何。所以这是一个非常棒的案例研究，展示了如何使用 Hugging Face 构建你的实验循环。接下来是另一个来自 Tensor Zero 的案例研究，它发现通过微调模型可以节省 30 倍的成本并减少 4 倍的推理时间。
这是一个非常有价值的见解。让我们阅读一下摘要：在由程序精心策划的高质量大型模型输出上微调小型模型，可以在降低高达 30% 推理成本和高达 4 倍推理时间的同时，超越大型模型的性能。我们在数据提取方面对闭源的 OpenAI、Google 以及开源的 Quinn 模型进行了基准测试。这里有不同的基准，包括多轮迷宫导航、代理式 RAG（检索增强生成）和代理工具使用。
你可以使用 Tensor Zero 这一开源 LLM Ops 工具重现所有这些内容，即使没有 GPU 也可以。这真的很酷。让我们往下看这里。我们来看看这个图表：每个任务的成功成本。该图说明了按模型性能归一化的跨任务成本。虽然 GPT-4.1（这是他们用作比较的基础模型）在成功完成任务方面的单位成本显著更高，即任务成本除以成功率。
与微调的替代方案相比，GPT-4.1 的成本更高。像 Gemini 2.0 Flash 或 GPT-4.1 Mini 这样的微调模型在保持具有竞争力的任务成功率的同时，实现了戏剧性的成本降低。所以是的，如果我们看 GPT-4.1，在 TBench 上每个任务大约是 30 美分。但如果我们使用微调模型，成本会下降到……6S？不，是减少了 6 倍（X less），因为那低于 50%……抱歉，低于 5 美分。我需要提高我的阅读能力了。
这是微调后的 Gemini 2.0 Flash。这里的所有其他模型都是微调版本。这也是我的经验：是的，旗舰级模型在零样本或少样本学习中非常出色，但如果你针对特定任务微调一个模型，你几乎肯定会获得更好的结果。因为虽然这些模型可能有 1000 亿、2000 亿甚至一万亿个参数，但需要大量的参数带宽来存储每个可能任务的信息。
相反，你可以像 Gemma 3（2.7 亿参数）这样的小模型，专门针对你的任务进行微调并获得很好的结果。如果我们往下看这里是与 GPT-4.1 相比的成本节省情况。如果你微调 Gemini 2.0 Flash Light，你可以获得等效的结果，但成本降低 31 倍。这太不可思议了。但对我来说，那仍然是微调后的闭源模型。如果你想使用开源模型来做这件事：
Quinn 38B，成本仍然降低了 18 倍。这太不可思议了。你可以自己阅读这里的内容。可能有一些基准测试或数据集与你的情况更相关，但总的来说故事是一样的：GPT-4.1 在每个任务上都表现出色。然后你微调其他模型，它们的表现优于未微调的其他模型。接着你对所有其他模型进行微调，它们的性能持平或……
有时甚至超越 GPT-4.1。所以去看看吧。如果你打算在自己的服务中使用大语言模型（LLM），你可能想要微调一个，以不仅在推理时间上获得更好的性能，还能降低成本。接下来是我最喜欢的博客文章之一，我很久没读到这么棒的了，那就是《思考机器：发现并发布如何使语言模型确定性化》。那么什么是“确定性”呢？它的意思是输入什么，就输出什么，无论发生什么都一样。抱歉，我的意思是如果你把相同的输入放入 100 次，你应该得到相同的输出 100 次。但如果你使用过 LLM，你可能知道事实并非总是如此。那么如何修复这个问题呢？这正是这篇博客文章发挥作用的地方。它由 Horus Hair 与其他思考机器（Thinking Machines）团队的合作者共同撰写。
Horus Hair 发布了一篇文章，我稍后会回到这里展示链接。比如他关于“从第一性原理让深度学习起飞”的文章，如果你想深入理解深度学习方面，我建议你阅读。Horus 的文章具有研究级质量，但解释方式让你和我都能理解。如果我们在这里滚动浏览，我们会发现很多信息。我不会一步步朗读所有内容，但我们会找到原因是因为“批不变性”（batch invariance）。换句话说，几乎所有 LLM 推理端点非确定性的主要原因是负载以及由此产生的批次大小是非确定性变化的。这种不确定性并非 GPU 独有，从 CPU 或 TPU 服务的 LLM 推理端点也会有这种来源的不确定性。
因此，如果我们想在推理服务服务器中避免不确定性——这个词对我来说有点难说——我们就必须在内核（kernels）中实现批不变性。为了理解如何实现这一点，让我们首先看看为什么内核最初没有批不变性。主要有三种操作涉及归约（reduction），即把东西变小，修复它们可以使 LLM 具备批不变性。它们是 RSM（可能是指某种归约操作）、RMS Norms、激活函数矩阵乘法，这是 LLM 层的骨干力量；当然还有注意力机制，即 LLM 层中自注意力的操作。
Horus 逐步解释了如何使它们具备批不变性，因为如果我们看上面的图表，用户请求对模型来说是确定性的，但一旦部署到服务器上，其他用户对已部署模型的请求就是非确定性的。我的理解是，当它们被放入一个批次中时，这会使整体输入变得非确定性，因为你不会总是得到其他人的相同请求，尽管你自己的请求是相同的。这说得通吗？所以，如果我向 LLM 发送一个请求且只有我一个人使用，我可以得到确定性的结果。但如果我们都在 ping 同一个 LLM，并且批次大小为 32，还有另外 31 个请求，我们就无法保证所有其他用户的请求都是相同的。这就是我的理解方式。
如果你通读这里，是有办法修复这个问题的。如果我们看最底部有一些代码，你可以自己复制实验。他们使用了 Qwen 32B、A2.2B（激活参数为 220 亿）的指令模型，并采样了一千个补全结果。在添加确定性代码之前，他们生成了 80 种独特的补全结果，其中最常见的一种出现了 78 次。他们展示了一些差异，然后一旦添加了确定性代码——尽管它未优化并增加了推理时间——但它确实使这一千个序列变得完全相同。我们在这里有 GitHub 链接，找到了：Thinking Machines batch invariant ops（思考机器批不变操作）。如果你想让你的 LLM 确定性化，去查看这个仓库。
如果想看一些很棒的博客文章，也可以访问 Thinking Machines 的网站以及 Horus Hur 的个人博客。接下来是 Steven Tolken 的博客，这是一篇关于分词器（tokenizers）的优秀读物。分词器可能是许多 API 甚至一般机器学习处理中被遗忘的中间环节。在机器学习算法能够处理你的数据之前，需要将其转换为数字，这就是分词器的作用。我发现特别有趣的是并非所有 token 都是一样生成的。例如对于“Amsterdam”，一个分词器可能将其转换为单个 token；但如果小写 Amsterdam（首字母 A 不大写），你可能会得到三个 token。
当然，在足够大的规模下，你会认为模型能理解小写的 Amsterdam 和大写的 Amsterdam 意思相似。虽然并非总是如此，但很多时候是的。所以是三个 token 而不是一个。Steven 发现这实际上会降低性能。如果我们有原始的 Modern BERT，分数是 57.68；如果你小写它，性能会下降近 1.8（约 1.7）个百分点。如果你进行去大小写处理（decased），它比单纯小写在性能上略有提升。而对于 E5 模型，效果则相反：去大小写比原始版本表现更好。
所谓“decased”是指你进入分词器，无论 Amsterdam 以何种大小写形式出现，它始终被转换为相同的 token（一个 token）。如果这对你的性能很重要，你想从语言模型中榨取每一丝潜力用于聚类或检索，你可能需要研究分词器的工作原理。实际上 Steven 关于分词器的整体博客都非常出色，涵盖了许多我以前没想到的分词器怪癖。非常感谢 Steven Tolken 的优秀博客。接下来是 Anthropic 发布的一份关于提示工程（prompt engineering）与上下文工程（context engineering）的指南。
在上个月的 AI 和机器学习月刊中，我们涵盖了很多关于上下文工程的内容。如果我们查看“为什么上下文工程很重要”一文（作者是 Drew Browning，抱歉念错了名字），去看看吧，那是一系列很棒的文章合集。如果我们来到这里，Anthropic 有一份指南。我总结的简短版本是：提示工程通常是一步完成的，例如输入提示输出文本；而上下文工程是多步骤的。前面的步骤会影响未来的步骤。你可以添加文档、工具等。但让我们直接进入博客文章。如果我们往下看，有一个很棒的图表，我认为它总结了大部分内容：针对单轮查询的提示工程。这里有你的上下文窗口。
我们中的许多人都有过这种经历：当你与聊天机器人对话时，输入一些内容，就会得到输出。但现在，如果你像工程师一样……
我自己，你更多是在做这类事情。所以，你有一堆资源：你有输入提示词、有记忆、有工具、有历史记录，然后你把它们传进去，或者你可能会整理一下。我认为工程部分的一个大步骤就是整理这些内容，因为模型有很大的上下文窗口，比如一百万个token。有些甚至更大。但你
不一定每次都想使用整个上下文窗口。一是效率，二是成本。但然后我们把那放入上下文窗口中。接着把它交给我们的助手。它可能会调用一个工具，然后又回到原始内容中。然后我们整理它等等。所以这是多个步骤与提示工程通常只是一个步骤的区别。所以我让你阅读那篇文章。
这是一个关于上下文工程的优秀资源。我摘录的最喜欢的引言是开篇范式或第一个问题：什么样的上下文配置最有可能生成模型期望的行为？所以在我们的案例中，对于Neurify，我们正在构建多食物检测。所以我们的目标是给模型最佳的token集合以生成我们期望的输出。然后如果我们
缩小范围看看什么是好的上下文工程。加粗部分是我加的。好的上下文工程意味着找到最小可能的高信号token集合，以最大化某些期望结果的可能性。实施这种做法说起来容易做起来难。是的。那么你能发送的最小token量是多少以获得期望的结果呢？这需要
大量的实验，不是吗？实用技巧：提供示例。这可能是我最喜欢的一个。提供示例是众所周知的最佳实践，也是我们继续建议的内容。这是来自Anthropic自己的观点。他们继续建议在输入中加入示例。我个人喜欢在任务复杂度不同的情况下，至少加入三到十二个示例。最后
关于智能体的简单定义：LLM在循环中自主使用工具。这大概是我目前最喜欢的一个，而且图形显示的正是LLM在循环中自主使用工具的情况。我们可以让它执行一步，也可以执行十步。接下来是Daniel的本月开源AI推荐。首先，Look，Quen在过去一个月引起了轰动
而且在我非官方的年度开源AI团队奖杯评选中遥遥领先，因为如果你去huggingface.com或huggingface.co/models（抱歉说错了），很多首页模型都是Quen的。IBM的那些真的很棒，非常出色。Quen Quen Quen，所以向Quen团队致以热烈的欢呼。然后是Zed.ai AI。我们稍后再看那个。但在过去一个月里，Quen
有三个或四个主要版本发布，分别是Quen 3 Omni、Quen 3 Next、Quen 3 Guard和Quen 3 VL。我个人最喜欢的是Quen 3 Omni，如果我们看指令版本的话，这是一个可以接收多种不同输入源并输出多种不同输出源的模型。我的意思是不同的模态。所以我们有文本输入
我们可以有音频输出。可以有图像输入和
文本输出。还有我漏了什么吗？音频输入然后文本输出。所以它支持119种不同的文本语言、19种语音输入语言和10种语音输出语言。它在36项自动语音识别、音频理解和语音对话性能中的32项上处于领先地位。与Gemini 2.5 Pro相当。所以，对于
Quen 3 Omni来说这是一个令人难以置信的发布版本，如果你需要做一些语音识别或同时与多种模态交互的事情。开源可用，Apache 2.0许可证。Quen 3 Next是它们架构的高效版本。所以在过去的几个月里，我们观察到越来越明显的趋势，即扩展总参数量和上下文长度，以追求更强大和具有代理能力的
人工智能AI。我们很高兴分享我们在解决这些需求方面的最新进展，重点是通过创新的模型架构提高扩展效率。我们将这种下一代基础模型称为Quen 3 Next。所以我们有800亿总参数量，但只有30亿是活跃的。这对于推理来说非常重要。你可以把800亿参数的
模型存储在一堆GPU上。但在推理时，它只使用那30亿的活跃参数进行计算。它是通过混合专家机制实现的。这就是那里的架构。所以你得到更快的速度，而不是为800亿参数计算信息时，你只使用其中的30亿。所以如果我们阅读Quen 3 Next的亮点
80B活跃参数为3B，混合注意力用门控Delta和门控注意力的组合取代标准注意力，从而实现超长上下文长度的高效建模。高稀疏混合专家机制正如我们之前所说的那样实现了极低的激活比率，大幅减少了每token的浮点运算次数（FLOPs），同时保留
模型容量。稳定性优化包括零中心化和权重衰减层等技术以及其他稳定增强功能，用于鲁棒的预训练和后训练。多token预测提升预训练模型性能并加速推理。所以如果我们看一些结果，Quen 3 Next ADB A3B基础版在下游任务上优于Quen 3 32B基础版，且仅用了10%的总
训练成本。这太疯狂了。只用了总训练成本的10%，却得到了相同的结果。想象一下你正在训练一个模型，花了十天时间。现在你可以一天内完成训练。上下文超过32k token时推理吞吐量提高10倍。这又是另一个疯狂的事情。所以假设你花了十天训练，然后在大型数据集上推理也花了十天。现在你已经做到了一
天训练，一天完成推理。Quen 3 Next ADB A3B指令版的表现与Quen 3 235B A22B相当。所以，总参数量大四倍，活跃参数大六倍，但表现几乎持平。所以我们看到了红色部分。让我们看看这个图表。所以Quen 3 Next已经接近Quen 3 235B的水平了。基本上持平，在这两个
基准测试Live Code Bench V6和Arena Hard V2上略高一些，在LiveBench上也略高一点。所以Quen团队发布的这系列Next模型令人难以置信。我想知道是否会有一个参数更低的版本出来，比如30B但活跃参数为3B之类的。但我们继续看下一个。我们有Quen 3 Guard，这是用于
提示保护的。
安全方面，Quen 3 Guard 是一系列基于 Quen 3 构建的安全审核模型，使用包含 190 万（抱歉，是 119 万）条标注了安全性的提示词和回复的数据集进行训练。该系列包含三种尺寸的模型：0.6B、4B 和 8B，并具备两个专用变体。Quen 3 Guard Gen 是一个生成式模型，它将安全分类框定为指令遵循任务；而 Quen 3 Guard Stream 则结合了令牌级分类头，用于实时安全监控。
如果你有一个生产系统，在用户输入与数据库或 LLM 之间可能会设置一个提示词守卫（Prompt Guard），例如拒绝特定类型的输入。以 Neutrify 为例，如果只关注食品领域，提示词守卫可能会禁止非食品饮料相关的消息。虽然这是一个简单的例子，但如果是银行，可能希望防止其他行为。这就是提示词守卫的作用。
查看分类结果可以发现，Quen 3 Guard 在英语和中文的不同基准测试中表现基本最好，优于 Llama Guard（我们在之前的机器学习月刊中看到过）。如果你需要一个开源的提示词守卫模型，不妨查看 Quen 3 Guard。
最后我们有 Quen 3VL，我最近在 Modal 上一直在折腾它，这里有一个小演示。我们有一系列模型，从拥有 3B 激活参数的 30B 版本开始。这对我来说可能是最佳平衡点，我认为这个模型可以在单张 H100 上运行，因为它使用 FP8。
接着是他们的旗舰文本模型，但增加了视觉头（Vision Head），即 Quen 3VL。它具有视觉代理和代码增强功能，可以进行目标检测（稍后展示）。它能在图像中通过 2D 和 3D 定位检测物体位置，也支持视频处理。在光学字符识别（OCR）方面表现惊人。
基准测试显示，其性能基本与 Gemini 2.5 Pro 持平或更优，据我经验那是最好的视觉模型。看到它是开源的并通过 API 在 Novita 上可用，真的很酷。进入设置查看模型列表，我喜欢这个表格格式。
我在寻找 VL 系列，找到了 Quen 3VL Instruct。输入价格为每百万 token 0.15 美元，输出为每百万 token 150 美元，延迟也相当不错。还有其他 VL 模型吗？还有一个较小的版本。目前最大的模型只有一个提供商，但你或许可以使用 Modal Notebook 来运行大型模型。
我有个使用 Quen 3VL 提取信息的例子，这里放大以免遮挡头部。这是一个很酷的用例：同时获取边界框坐标及从中提取的信息。我将一张装有芝麻酥等食物的图片输入给 Gwen，提示词要求提供营养成分表和配料表的边界框坐标，并以 JSON 格式返回其中的文本。
这是从非结构化数据中提取结构化数据的操作。它不仅给出了营养成分表和配料表的边界框坐标，我还利用 Quinn3VL 处理文本输入输出的能力将其转换为 Markdown。这样一步就将照片导出为结构化的数据，方便后续使用。
如果你有百万包食品需要记录营养值和配料，可以使用 Quinn 3VL 建立生产线自动化处理。虽然不会完美无误，但这只花了约 8 秒，比我手动输入快得多。你可以先自动处理，稍后再审核。从我的角度看，结果似乎是 100% 正确的。
QuenVL 的亮点不仅在于定位，还能将提取内容转化为你想要的格式，因为它底层集成了语言模型。Gwen 3VL 和 Quen 本月合集到此结束，非常感谢 Quen 团队带来这么多开源模型。接下来是 Google DeepMind 发布的嵌入 Gemma，一个拥有 3.08 亿参数的嵌入模型。
嵌入模型的作用是什么？请看博客文章。如果你需要数值化表示文本以便检索，比如将教科书嵌入后输入查询以构建 RAG 管道（YouTube 频道有相关视频），就可以使用 Embedding Gemma。
Embedding Gemma 的妙处在于它足够小（3 亿参数），可在本地计算机运行，且性能非常接近顶级水平。与所有其他可用的开源嵌入模型相比，它的表现非常出色。这是 Gemma 团队和 Google DeepMind 的又一力作，他们近期发布了 Gemma 3270M 和 Embedding Gemma。
如果需要优秀的嵌入模型，请查看 Embedding Gemma 300M。使用时请注意：这是一个参考博客帖子中的要点，建议在 Hugging Face 模型页面上查看。你需要在文本前添加任务前缀。例如，若要嵌入文档进行检索，需使用“title: none text: [文本内容]”的前缀格式。
若要进行搜索，需使用“search result | query: [查询内容]”的前缀。请注意 Embedding Gemma 是专门为此训练的。这里展示了如何使用 Sentence Transformers（我最喜欢的库之一）来使用它：从 Hugging Face Hub 加载模型，定义查询和文档。
Sentence Transformers 库会自动处理这些前缀操作。对查询进行编码，对文档进行编码，然后计算相似度并排序即可。
给定这个查询，哪个是最相关的问答或文档？例如，“哪颗行星被称为红色星球？”那么火星应该是排名第一，也就是索引01。所以它应该排在第一位。是的，这很美。如果你需要一个好的嵌入模型，去看看吧Gemma的嵌入功能。接下来是苹果发布Mobile CLIP 2。所以，如果你有一部iPhone并在照片应用中搜索“海滩上的乔治亚州”的照片，目前 powering 它的潜在技术可能就是Mobile CLIP 2。
CLIP代表对比语言图像预训练（Contrastive Language-Image Pre-training）。Mobile CLIP 2是对已在移动端处于某种最先进状态的CLIP模型1的重大升级。它不仅推理速度更快，而且在移动设备上相比其他类似模型的性能也更好。这就是为什么它被称为Mobile CLIP，因为它在本地设备运行。
如果我们将其与同等大小的SIGLIP 2进行比较，S4模型（见此处）的耗时仍在25毫秒左右。这接近实时处理。但如果我们往下看，S3在ImageNet-1K零样本准确率约为80%或81%时，耗时为15毫秒左右。这实际上是甜点区域。
这是一个极其强大的模型，在设备端运行时间不到15毫秒。这比实时还要快，对吧？如果你想知道它是如何工作的，空间里有一个演示应用。我们可以上传一组类别名称，它会将这些文本与图像进行匹配，找出最匹配的文本。这是模型的训练目标。
我们有一系列模型都托管在Hugging Face上。看，就是这里。如果我们进入演示环节，我想给你一个例子，展示我在Hugging Face上是如何使用它的。我们加载一个模型，可以选择任意一个，我们就保持默认设置吧。然后我要上传一张图片。
那是我哥哥昨晚的晚餐。我今天刚添加的那些在哪里？好的，这个不错。那么，什么文本最能匹配这张图片呢？这是我刚刚在办公室拍的一张照片里的枸杞。我要稍微缩小一点画面，以便看清所有细节。
如果我发送“枸杞”，然后如果我再试一下“樱桃”，结果会怎样？分类为枸杞，准确率100%。是的，肯定不是樱桃，对吧？但是现在如果我输入“包装里的枸杞”呢？然后再试一下“被手拿着的蓝色包装袋中的枸杞”，背景里还有微波炉，对吧？因为那里确实有个微波炉。那是大厨Mike。
如果我们输入“被手拿着的蓝色包装袋中的枸杞”，好的。那么现在，如果在“被手拿着”后面加上“干枸杞”呢？你明白我的意思了吧。它通常能最好地对图像进行分类，这是有趣的情况之一。通常情况下，较短的序列可能更好，描述性最强的文本通常得分最高。
所以，“包装里的枸杞”。也许这只是个简单的例子，或者我这里有拼写错误。“被手拿着的蓝色包装袋”。如果我们看主题演讲部分，我有另一个例子。这里有一张来自Mobile CLIP 2的图表，展示了结果。
这也适用于文本，对吧？你可以输入基于图像的文本等。显示CLIP模型（如SIGLIP 2和Mobile CLIP 2）结果的图表中，后者得分最高。虽然这些也是显示CLIP模型结果的图表且是正确的，但通常这个是最准确的。
因此，文本与图像的匹配度越好，得分越高，除非在这里你可以争论哪个是更好的文本匹配。如果你需要一个非常快的CLIP模型，去看看吧Mobile CLIP 2。接下来我们有5TB的高质量视觉数据，可通过Fine Vision准备用于训练。
这是一个非常美丽的资源，也是一篇论文或博客文章，或者叫技术报告随你便。我只是喜欢它的布局方式。为什么要建立这个数据集？我们为什么构建它？本质上什么是Fine Vision？如果我们回顾一下，这里有一些统计数据。快速统计：2400万个视觉样本。
将200个数据集整合到一个类似的界面中。这就是我做机器学习工程师时经常做的事情之一，顺便说一句，我没有参与Fine Vision的工作。我只是告诉你它是什么。它是数据策展（Data Curation），即将数据处理成你想要的样子，然后训练你需要的模型。
1700万张图片，8900万个问答轮次，100亿个答案令牌。总之我们之前说过有5TB的数据量。因此Fine Vision是一次巨大的数据策展行动。我们从收集公开可用的数据集开始，并增强代表性不足的类别。
然后我们评估所有数据集是否存在内部重复数据以及基准测试污染情况。这些数据在加入最终混合之前会被清洗和评级。所以如果你想……是的，看这里。来自各种公开来源的200个图文数据集经过处理以统一格式。
我们列出了所有收集到的数据集，虽然数量众多，但现在通过一个数据集就可以轻松使用。他们使用Qwen VLM作为评判者。具体来说，Qwen 32B（注：原文为Quen 33 32B，推测指Qwen系列）作为文本评判者，Qwen 2.5VL-32B-Instruct作为视觉评判者。
他们给每个图文对或单独的图像和文本打分，评分维度包括格式、相关性、视觉依赖性、图像对应关系等，分为1到5分。基于这些评分，我们可以假设得分为5的图像或文本相当不错，4分也还不错，随着分数降低质量可能逐渐变差。
一个有趣的发现是……顺便提一下，他们使用NanoVM作为测试基准。所以NanoVM是一个极好的资源，可能是你能在网上看到的关于如何构建视觉语言模型（VLM）的最精简指南。它由LLM主干、视觉主干以及融合这两者的连接层组成。
但他们正是这样做的，他们使用它来标准化实验。因此他们用NanoVM架构配合一系列不同的数据集进行训练：Cauldron、Lava Vision、Cambrian 7M、Fine Vision，然后进行了一系列评估。当然，如果我们往下看，我们会发现Fine Vision获得了最佳排名结果。
经过20,000步训练后，在该数据集上训练的模型获得的排名结果优于其他模型。它在开始时表现最差或接近最差，但随着时间的推移，很可能由于数据集的质量优势，它的表现越来越好。我发现的一个有趣细节是我把它放进了博客文章中……
与其在这些数据中搜索，不如直接利用。是的，我们开始了。另一个有趣的见解基于样本评分是否重要：如果你拥有0到5分的样本评级，你可能会想：“我为什么不全只针对得分为五分的数据进行训练？”但他们确实进行了仅使用高质量样本训练的测试，即平均评分为X分或以上的数据。他们分别尝试了1分以上、2分以上、3分以上、4分以上以及仅5分以上的数据。结果显示，简单地使用最具多样性的所有数据进行训练，在基准测试中表现优于其他筛选方式。这可能意味着多种情况：只需使用所有数据进行训练，就能获得最佳结果。
我们可以看到，随着评分阈值的提高（从1分到5分），在所有筛选条件下排名的分布几乎相同，且保持最佳到最差的自然顺序。例如，“视觉依赖性”和“图像对应性”评分产生的排名分布完全一致，都符合选项1到5的自然顺序。这表明，如果你使用足够大的数据集并训练足够长的时间，即使某些样本被判定为低质量而将其移除，其负面影响也大于使用这些数据进行训练。因此，似乎规模与高质量样本的结合才是产生最佳性能模型的关键因素。
非常酷！如果你需要用于视觉语言模型（VLMs）的大规模数据集，可以去查看Fine Vision。接下来是ETIN编码器与解码器模型对，它们的性能超越了现代的BERT。这是一个非常棒的发布版本。他们不仅发布了系列编码器模型（这就是区别所在），还强调了架构差异：编码器使用双向注意力机制，意味着令牌可以同时向前和向后被模型看到；而解码器（如我所知的ChatGPT）则使用因果注意力，令牌只能看见之前的令牌并自回归地生成。
所谓“自回归”，是指给定前X步，预测下一步是什么：如果有7个步骤生成第8个令牌；有8个令牌则观察它们以生成第9个令牌，依此类推。而在编码器模型中，一切皆可见。让我印象深刻的是其尺寸范围：从1700万参数一直到10亿，中间还有四个模型分别为3200万、6800万、1.5亿和4亿参数。它们采用三阶段训练过程：预训练、上下文扩展以及去噪（denoising）。所有数据均为开源。
最终结果方面，在与同类其他模型的对比中，它们的表现持平或略高于当前最先进水平（SOTA），包括最近的现代BERT编码器，且所有训练数据均为开源。解码器也是如此：平均而言达到SOTA或与其他相似规模的模型持平。发布形式是每个解码器对应一个编码器：1700万编码器和1700万解码器，3200万编码器与3200万解码器等。这引出了我之前提到的话题：模型可以小到什么程度仍能复现你想要的任务？
我一直使用Gemma 3（2.7亿参数）来微调同规模的模型。我发现经过特定任务微调后，其表现几乎能与GPT OSS 12B（120亿参数）持平。这让我开始思考：能否让它更小？既然它是解码器，可以生成任何你需要的序列，我是否可以通过减少到6800万参数来使其缩小4倍？这是一个我可能需要进行的实验。因此，如果你正在尝试微调语言模型，建议试试ETIN解码器或编码器，这正是我们要进入的下一个话题。
Tiny Lettuce（微型生菜）正是这样做的：使用1700万到6800万参数的编码器进行幻觉检测。这基于我们刚才看到的ETIN编码器。Tiny Lettuce的任务是发布一个用于生成幻觉检测合成训练数据的管道，并在其上微调小型ETIN解码器。Tiny Lettuce 1700万在合成测试数据上达到了约90.1的F1分数，超越了GPT-5 mini、GPT OSS 120B以及Quinn 323.5B。这令人难以置信，证明了针对特定任务微调的小模型性能可以超越这些大参数量的模型。
我不知道GPT-5 mini有多少参数，但GPT OSS是一个很好的模型，拥有1200亿参数。那么倍数是多少？从1200亿到1700万，这是一个巨大的比例差异。让我们看看Claude对此的看法（我差点提到ChatGPT）。120亿参数与1700万参数的比率对比令人震惊。让我们看看这个结果：由于模型非常小，它可以在CPU上以低延迟和高吞吐量实时运行。合成数据生成生成的训练成本远低于人工标注，这是事实，我也尝试过。这是一个完整的端到端管道。
那么它具体做什么呢？在CPU上实时检测幻觉。我们启动检测器，加载Tiny Lettuce模型并进行跨度预测（span predict）。给它一些上下文：“布洛芬是一种非甾体抗炎药，可减少炎症和疼痛。典型成人剂量为每6至8小时一次，每日不超过2400毫克。”问题是：布洛芬的最大日剂量是多少？如果答案是“32毫克”，根据上下文这是错误的。模型检测到了这个错误输出所在的跨度（即该令牌），标出了开始和结束位置，这非常酷。
这是生成合成训练数据的另一个示例：如果你需要大量特定任务的合成数据，GPT-5将根据此示例生成幻觉数据。动机在于：如果你需要小模型，或者想查看如何使用合成数据训练小模型执行特定任务的示例工作流，请查看ETIN编码器以及Tiny Lettuce。哦不，那是安全检测。（吸气声）好吧，我想那就是1200亿参数。我们能不能直接用大脑？Claude指出这有九个零，那只有六个零，所以小了一千倍。太不可思议了，谢谢Claude。很高兴那是安全检测。
接下来是OCR模型的圣诞节（九月里的圣诞）。现在是十月，我们有Minor U2.5、Points Reader PP OCRV5和Granite Dockland 28M。Minor U2.5是一个拥有12亿参数的视觉语言模型（VLM）。
参数规模方面，具体能运行多大的模型取决于你的系统配置以及所采用的模型类型。我们在之前的机器学习月度回顾中见过 Dots OCR，当然 Qwen 2.5 VL-72B 是一款出色的模型。我们也曾在之前的机器学习月度回顾中见过 Nanets，但 Minu 基本上并未被超越，而是根据基准测试表现优于所有其他模型。因此，当然可以在自己的数据上尝试一下。不过请注意其许可证为 AGPL 3.0，这可能会影响你的使用方式。
接下来是 Points Reader，我实际上非常喜欢这篇研究论文。这是一款由 Benchmarks 推出的优秀 OCR 模型及演示工具，但对我来说，这篇论文至关重要。让我们看看他们是否快速找到了答案：为了引导模型训练，他们生成了大量合成数据，这给我留下了深刻印象。在预训练阶段，通过大规模生成合成数据来确保数据分布紧密贴合现实世界场景，并生成具有高度多样性的数据。然而，以各种布局配置排列和组合上述关键文档元素会导致可能出现的配置数量庞大，使得数据构建过程高度复杂。
为了解决这一问题，我们的目标是在最大化数据多样性的同时简化构建流程。因此，我们创建了四类数据：纯文本、包含数学公式的文本、包含表格以及多栏布局中包含表格的数据。数据生成过程主要分为两个步骤：首先，我们设计类别特定的提示词，并利用大型语言模型生成相应的文本；其次，对于表格和公式，我们应用规则过滤（与下一节所述相同）。随后，将过滤后的数据通过模板转换为单栏、双栏和三栏布局的 HTML 格式，并通过 Chrome 无头模式渲染为图像。生成的文本-图像对用于微调通用视觉语言模型，从而增强其以统一格式提取和输出文档元素的能力。
我喜欢这种包含纯文本、表格和数学公式的设计。那么，我们有流水线吗？好的，这是一个两阶段训练流水线：统一格式的第一阶段涉及合成数据。如果你有文档（它们可以包含文本、表格或图像），你可以生成带有完美真实标签数据的随机文档布局，因为你确切知道它们的坐标位置、确切的文本内容等。然后你可以基于这些合成数据引导模型训练，这就是我理解他们在此处的工作方式：大型语言模型创建公式、文本和表格格式，将其放入单栏、双栏或三栏的 HTML 模板中。
正如我们之前读到的，对于文本和数学、文本和表格等，将这些真实标签转换为使用 Chrome 创建 HTML 的 PDF 模板。然后我们基于这些合成数据引导模型训练，因为我们拥有完美的数据和真实标签。接着我们可以利用这些数据来标注或注释来自现实世界的大规模文档，以在实际信息上微调我们的基础模型。我觉得这非常酷：就像先在模拟环境中训练，然后在现实世界数据上进行微调一样。如果你需要了解如何创建合成数据工作流的精彩读物，请查阅相关论文；如果需要一款优秀模型，不妨试试 Points Reader 模型。
接下来是 PPOCRv5，这是较小规模的模型系列之一。它使用 Paddle 库，参数量在 1 亿左右，远小于我们之前看到的其他模型。如果我们查看数据，我相信他们曾在某处提到过：参数量少于 1 亿。如果你正在寻找一款小型且性能优异的 OCR 模型，不妨查看一下这个。最后是 Granite Dockling，我们在之前的机器学习月度回顾中见过 Dockling 能生成我十分喜欢的 Docking 风格标签。这种方式类似于 HTML 标签，你可以同时获取边界框以及所输入内容的上下文信息。
他们是否有示例展示其生成的标签？好的，请看：完整转换指令，“将此页面转换为 Dockling 格式”，图表将在 chart 标签内，公式、代码、表格等亦然。这也是我发现有趣的一点：它基于 SigLIP-2 构建，使用了视觉语言连接器像素洗牌投影器（如 ID Effects 3），并搭配一个小型大型混合的 Granite 165M 语言模型。我相信他们还使用了 NanoV？没错，该模型是使用 NanoV 框架训练的。如果你希望拥有自己的定制视觉语言模型（VLM），请查看 NanoV。
无论如何，这里有一个我稍早准备好的内容……其实我说谎了，我没有 Dockling 的示例。哦，不，找到了：复制图片地址，让我们查看一下。这是 Vicky Boyis 的技术博客，非常棒的一个资源。如果你正在构建某些东西，务必亲自体验应用流程。向 Vicky Boyis 致敬，他的博客非常精彩。这是我们的 Dockling 示例：我输入了从 Qwen 提取的相同输出，即营养信息。这是 Markdown 版本以及 Dockling 的输出结果：我们有 dock tags、section header（部分标题）、nutrition information。
接着是 location 信息，注意这段文字周围有边界框；然后是 servings per pack（每包份数）文本及其位置。接着是一个表格，它以一种有趣且需要稍作解析的格式输出，但这没关系，你可以自行理解。这里还有一些更多的边界框。最后它进行了转换：我们将 dock tags 转换为 Markdown。目前我们在 OCR 模型方面可谓受益匪浅，我特别喜欢这一点，因为它展示了如何采用开源模型（如 SigLIP）和开源语言模型（如 Granite 165M），并在针对特定任务的数据集上进行微调。这就是在小模型（2.58 亿参数）上微调的力量：我们可以在本地 Mac 等设备上运行它。
接下来是 Z AI，他们发布了 GLM-4.6。虽然我本人尚未亲自试用，但从基准测试来看，它基本上与 Claude 3 Opus、Claude Sonnet 4（顺便提一下）以及 Claude Haiku 4.5 持平甚至超越，尽管 Claude Haiku 4.5 刚刚发布。
发布了，这本身就是一个很棒的模型。而且你可以配合 Open Code 使用，这也是我刚刚发现的，也就是说可以使用开源的……我相信像是 Clawed Code。这就是开源模型 GLM 4.6 的情况，据称它可以节省输入输出 Token 的费用。这是我需要进一步研究的事情，但我看到人们在互联网上发布的相关内容。所以，Open Code 我可能会在下个月的机器学习月刊中介绍。但我要特别感谢 Z.ai 团队推出的 GLM4.6，这是一个巨大的改进。
说到改进，我们还有 Mistral 与 Magestral Vision。Magestral 是 Mistral 的推理模型，拥有 240 亿参数，采用 Apache 2.0 许可证，现在支持视觉功能。与 Mistral Small 1.1 相比的更新包括：多模态能力，模型现在拥有视觉编码器，可以接受多模态输入，将其推理能力扩展到视觉领域；性能升级应能提供比 Magistral Small 1.1 显著更好的表现；更佳的语气和人格特征，有限生成不太可能产生实现循环或特殊的思考 Token。
所以现在它会在思考 Token 之间进行……所以你可以轻松传递，比如用 Python replace 移除或提取思考内容。我们使用 reax 之类的东西……Apache 2.0，它对 Mistral Small 或抱歉 Magestral Small 1.1 有很大的提升。我意思是这里绝对提升了 5%，在 AIME 24 上提升了近 20%。所以这真的是 Mistral Vision……Vision 现在已添加到 Magestral，感谢 Mistral 团队。
我们还有几个更多的发布版本，我要花较少的时间在这些上面，因为我原本只想专注于……那是本月的开源 AI。但 Gemini 发布了 Gemini Robotics 1.5，对我来说亮点是这个模型的空间理解能力有多好。所以它在生成坐标点方面非常出色。我在笔记本中试用了它。那么为什么需要坐标点呢？嗯，如果你是一个机器人试图捡起东西，你需要在视觉空间中指向物体。至少目前他们是这样做的。“去，好的，这是笔记本电脑。那是笔。那是蓝色的笔、绿色的笔记本、马克笔、棕色的托盘。”
看到这一切都在一个模型中发生真的很酷。我想知道这些是否是实时的？我不知道。但这是一个非常酷的发布，可以通过 API 使用。如果我们看看……让我回到我的主题演讲。这是我之前准备的东西。所以 Neutrify，我们对食品领域感兴趣。这显然不是什么秘密。我们有 GPT5 模型在这里，它们越来越好，但在指向方面不如 Gemini 出色。所以，Gemini 2.5 Flash Light、Gemini 2.5 Flash 在指向方面相当不错。
但然后 Gemini Robotics，呃，我不确定 ER 是什么意思。也许是具身智能机器人（Embodied Robotics）1.5 在指向方面非常出色。所以我只是说“指出所有独特的食物”，它返回了这些坐标点。所以如果你想尝试 Gemini 1.5 Robotics，我在 GitHub 上包含了一个示例笔记本。具身智能机器人（Robotics ER）。所以这里真的很酷，看看他们是否有演示图片？也许他们有。也许他们没有。哦不，它们没有保存到笔记本中。但你可以在 Google Colab 上运行它。你只需要一个 Gemini API 密钥。所以这是来自 Gemini 团队的一个很酷的发布。
François Chollet 发布了他的《Python 深度学习》第三版。我是通过这本书开始接触深度学习的。它可以免费在线阅读，这有多酷？你也可以购买纸质版……我已经买了。这里有一个关于文本生成的示例章节。所以，感谢 François Chollet 所做的一切工作。这是一本美丽的书，可在 deep learningwithpython.io 上在线获取。
Hugging Face 发布了 Track IO，这是一个即插即用的实验追踪发布……抱歉说是库。基本上它与 Weights and Biases 类似，用于实验追踪。据我发现，它不如 Weights and Biases 完善。我最近在一个项目中试用过这个库，但它是开源的。所以这真的很好。如果你需要用一个轻量级的、必须是开源的库来追踪你的实验，去查看 Track IO 吧。你获得了一个很酷的界面。它会显示给你看吗？是的，类似这样的东西。与 TensorBoard 非常相似。而且确实运行良好。
最后，我们要快速过一遍其他发布：Google 在 Gemini API 中发布了与 Google Maps 的关联功能；Claude Sonnet 4.5 已发布，它是迄今为止最好的编码模型。我在 claw.ai 中试用过它，效果非常好；OpenAI 推出了 Sora 2，那里还有很多值得挖掘的地方，但嘿，这对某些人来说很酷，虽然对我来说不是特别如此，但它是一个很好的例子，展示了视频生成技术已经取得了多大的进步。所以，如果你对视频生成感兴趣，去看看吧。
至于研究，这两项正在并列发展。我们随着大语言模型取得的突破是它们是零样本推理器（zeroshot reasoners）。但事实证明，视频模型和时间序列基础模型也是零样本学习者或少样本学习者（few-shot learners）。所以 Google DeepMind 的这篇论文意识到，你可以使用一个视频模型……它在感知、建模、操作方面表现良好，甚至可以进行分割。这有多酷？所以你可以对鹦鹉进行关键点定位分割。这也是通过少样本学习实现的。真的很酷。
我认为在未来几年我们会看到更多这样的情况，视频模型……或者图像模型将迎来它们的“ChatGPT 时刻”，即它们变得很好，“我可以只是输入‘segment anything’，它就会自动知道那意味着什么。”然后时间序列基础模型也迎来了它们的……高光时刻。在之前的课程中，我们构建了 NBS 架构，当时它是时间序列预测的 State-of-the-art。但现在随着 Google 最近发布的时间序列基础模型，他们有一个……这里很酷的东西是上下文内微调（in-context fine-tuning）。
所以假设我想预测布里斯班的电力使用情况，这是我居住的一个城市。我有一个时间序列基础模型。我可以这样说：“嘿，这是过去 12 或 11 个月的布里斯班电力使用预测数据，然后你能用它来预测下个月的情况吗？”这就是上下文内微调。它的表现与完全微调的模型相当或非常好。所以， versus 说我在大量数据上训练并微调一个时间序列基础模型……我可以只传递它我之前想要的时间系列预测示例，并获得非常相似的结果。所以如果你处于时间序列预测领域，去查看……时间序列基础模型和 Google 刚刚发布的。
Hugging Face，我相信是在那里。我没有找到它。时间序列或者 TimesFM 2.5，如果我们往下找的话。找到了。TimesFM 2.5 PiTorch。所以 TimesFM（时间序列基础模型）是一个预训练的时间序列基础模型，由谷歌资源研究开发，用于时间序列预测。这是一个开源模型，采用 Apache 2.0 许可证发布。
最后让我们结束吧。在 All-In Summit（All-In 峰会）上，DeepMind CEO Demis Hassabis 做了一场很棒的演讲。我只是非常喜欢 Demis，他真的很棒。他总是充满热情，是一位出色的研究科学家。我不会详细讲解整场演讲的内容，但你们可以去 All-In 的 YouTube 频道查看。我最喜欢的引用是在第 18:52 处提到的内容：“我们经常听到一些竞争对手谈论这些 AI 系统拥有类似博士水平的智力。它们并不是真正的‘博士级’智能，它们只具备某些达到博士级别的能力，但并没有特别通用。”
所以我就留到这里吧。这也是全部内容了。在所有这些大型 AI 实验室中，我真的很喜欢听 Demis 的分享，因为他提供了一些现实且充满智慧的见解。显然，我完全同意他的观点：“让事实说话。”
如果你喜欢这个视频，可以阅读文字版。你可以订阅下个月的更新，我相信就在页面顶部这里。它会在下月初直接发送到你的邮箱。你可以在那里输入电子邮件地址，这是免费的，就在某个地方你可以订阅。如果你希望在未来的节目中看到任何内容，请告诉我。否则，祝机器学习愉快，我们下个月见。