本地微调小型视觉语言模型（VLM）的实战概览
本次教程旨在演示如何在一台 Nvidia DGX Spark 设备上，从本地环境出发完成一个小型视觉语言模型（VLM）的微调全过程。视频作者将这一过程比喻为“机器学习烹饪秀”，并明确指出本次操作的核心对象是 Small VLM 2，这是一个参数量低于10亿的模型。作者将小型VLM定义为参数规模在 1 billion（10亿） 以下的模型，这类模型专为边缘设备设计。虽然像 Gemma 3N（50亿参数）这样更大的模型也能在边缘运行，但作者坚持将10亿以下作为小型模型的分类标准。整个流程包括从 HuggingFace 下载模型、使用 Food Extract 1K Vision 数据集进行监督微调（SFT）、上传模型至 HuggingFace，以及创建交互式演示界面。作者强调这是一种“数据-模型-演示”的工作流，旨在让非程序员也能通过拖拽图片与模型交互。
视觉语言模型的架构原理：多模态融合机制
要理解微调的基础，首先需要掌握 VLM 的底层结构。VLM 的核心在于将图像和文本输入映射到同一个嵌入空间（embedding space）。以本次使用的 Small VLM 2 为例，其架构包含三个关键部分：首先是 SIGLIP 2 作为图像编码器（Image Encoder），负责读取并解析输入的图片；其次是文本嵌入层，将自然语言转化为向量表示；最后是一个投影层（Projection Layer），负责 合并图像和文本的输入，使它们处于相同的语义空间中。经过投影后的数据被送入 Small LM 2（即文本解码器/LLM），由它逐 token 地生成最终答案。这种架构代表了现代大模型的发展趋势，即通过一个统一的模型处理视觉、语言甚至音频和视频组件。正如作者所言：> "You take some images and you take some text and you have a projector which combines the image and text input... then goes to the text decoder." 这种多模态融合使得模型能够理解复杂的跨媒体信息。
本地微调的核心驱动力：私有性、无限推理与批量扩展
选择在自己的硬件上微调模型而非依赖云端 API，主要基于以下五个关键优势。首先是 所有权与数据隐私：模型运行在本地硬件上，确保敏感数据不会离开房间或企业内网。其次是 无限推理（Infinite Inference）：由于无需 API 调用，模型可以离线运行。作者分享了一个实际案例，客户需要在无互联网连接的环境下部署计算机视觉任务（如目标检测），本地模型是唯一可行的解决方案。第三是 批量处理以扩展规模：虽然 API 支持批处理，但本地部署允许在零边际成本下进行大规模推理。例如，使用专门提取结构化数据的 VLM 对大型图像数据集进行过滤或目标筛选时，批量模式能显著提高效率。第四是 提升基础模型性能：即使基座模型在通用基准测试中表现良好，通过喂入自定义数据微调后，其在特定任务上的表现通常会显著提升。最后是关于 Token 的本质认知：无论是文本、图像还是视频，所有数据最终都转化为数字 Token。计算机通过识别这些数字中的模式来理解世界，微调的过程就是优化模型对这些特定领域 Token 模式的捕捉能力。
从数据输入到输出：Token化与微调的具体实施路径
在具体的执行层面，微调过程依赖于高质量的数据集和正确的训练框架。本次教程使用的数据集是 Food Extract 1K Vision，这是一个专门用于视觉提取任务的数据集。作者提到他之前有直播展示如何构建该数据集，但在本视频中直接使用该成品数据。微调方法采用 TRL（Transformers Reinforcement Learning） 库中的监督微调（SFT）方式。这种方法的逻辑是：输入端提供包含食物与非食物的图像及其对应的文本描述（Token 化后的数据），模型通过调整内部参数来学习这些输入与输出之间的映射关系。作者指出：> "Data turns into tokens. Tokens and numbers... Computers like to understand numbers and recognize patterns in numbers." 这意味着微调的本质是让模型适应特定领域的 Token 分布。通过这种方式，原本通用的基座模型被转化为能够精准识别和处理特定领域（如食品图像结构化提取）的专业工具。整个过程完全在本地完成，最终生成的模型将被上传至 HuggingFace 供社区共享和使用。
从云端API到端侧模型的迁移愿景
视频作者首先通过其开发的应用程序 Neutrify 展示了视觉语言模型（VLM）在现实生产环境中的应用。Neutrify 是一款已上架 App Store 的真实产品，专注于通过图像识别整块食物（Whole Foods），而非依赖条形码扫描。用户拍摄午餐照片后，图片被发送至 Google 的 Gemini API，模型在数秒内加载并返回 JSON 格式的结构化数据。例如，针对一张包含沙丁鱼、山核桃、枣和腌黄瓜的照片，模型准确输出了对应的食物标题。这一流程体现了典型的“Token 输入、Token 输出”范式，即通过定义特定的输入 Token（图像）和期望的输出 Token（结构化文本），可以构建专用的垂直领域模型。
“One of my goals for the year is to be able to replicate this workflow with an ondevice model. So we actually don't need an API call.”
作者的核心目标是将这种依赖云端 API 的工作流复制到端侧模型上，实现本地运行。这不仅能降低延迟和成本，还能在弱网或离线环境下（如超市内）保持功能可用。为此，作者计划在本教程中训练一个小型 VLM 的“婴儿版”，作为实现这一目标的第一步。这种从通用大模型 API 到专用小模型的转变，旨在解决隐私、成本和实时性需求。
端侧模型现状与微调必要性分析
为了验证端侧运行的可行性，作者展示了在设备上直接运行 Google AI Edge Gallery 中的 Gemma 3N（50亿参数模型）的案例。尽管该模型能在本地快速响应，但其输出结果并不完美，往往包含大量无关信息（如地址等），且难以精确提取用户所需的特定字段。虽然可以通过优化提示词（Prompting）来改善，但效果有限。
“We could fine-tune it to specifically extract the ingredients that we want rather than all this extra information such as the address.”
作者指出，微调（Fine-tuning）是解决这一问题的更优路径。通过针对特定任务进行微调，模型可以学会忽略无关噪声，精准提取目标结构化数据。例如，在处理商业发票时，若每天处理上千张单据，将图像转换为 JSON 并存入数据库（如 Excel 或 Pandas DataFrame）能极大提升效率。虽然使用 Gemini Flash 等快速模型也能实现这一功能，但对于涉及机密信息且无法上传至云端的数据，构建自定义的本地 VLM 成为唯一选择。这强调了在数据敏感场景下，端侧微调模型的独特价值。
数据集构建与小模型蒸馏策略
在技术实现层面，教程选定 Small VLM2（5亿参数）作为基础模型，并引用了关于“Small Dockling”的研究论文。该研究展示了如何通过微调极小参数量的模型实现高效推理，尽管其训练数据量高达约 2000万样本。相比之下，作者构建了一个精简的数据集“food_extract_1k_vision”，仅包含 1500个样本：其中 1000张来自 Food-101 的食物图像，以及 500张“非食物”图像。
引入这 500张非食物样本（如电脑照片）作为“硬负例”（Hard Negatives），旨在训练模型不仅识别食物，还能在检测到非目标物体时拒绝输出错误信息。标签数据并非人工标注，而是通过提示 Qwen 3VL（80亿参数）生成的合成数据。这一过程本质上是将一个 80亿参数的模型知识蒸馏（Distillation）至一个仅 5亿参数的小模型中，实现了约 16倍 的参数规模缩减。这种“大教小”的策略旨在以极小的计算资源代价，复现大模型在结构化数据提取上的能力。
任务定义与数据格式：从非结构化图像到JSON输出
本教程的核心目标是微调一个小型视觉语言模型（VLM），使其能够从自然图像中提取结构化数据。以“Food Extract Vision”任务为例，模型需要识别图片中的食物和饮料项目，并输出特定的JSON格式。例如，面对一张包含冷冻酸奶、冰淇淋和马卡龙的图片，模型需生成对应的键值对。VLM的本质是“Token输入、Token输出”，图像经过分词器转换为token序列后，模型预测的是代表JSON结构的标签tokens。这种设计允许我们将提取结果直接加载到数据库中。数据集由图像和文本对组成，其中文本部分包含提示词（如“从这张图片中提取XYZ”）。作者强调，虽然简单的图像分类器也能区分食物与非食物（如Neutrify应用中运行的300 FPS模型），但VLM的优势在于其无界输出能力。通过微调，模型不仅能进行分类，还能在单次推理中同时生成标题、食物项和饮料项等复杂结构。
硬件环境与工具链：本地部署与云端协作的灵活性
为了演示这一过程，作者使用了Nvidia DGX Spark作为主要计算设备。这是一个小巧但功能强大的机器，支持CUDA生态系统，非常适合运行深度学习任务。开发环境采用Mac Mini通过SSH远程连接DGX Spark的方式编写和提交代码。尽管本教程使用的小型模型（参数量小于10亿）资源消耗较低，甚至可以在Google Colab上进行测试——Notebook中提供了直接打开Colab的按钮以方便用户尝试——但本地部署能提供更稳定的CUDA支持。主要使用的软件库是TRL（Transformer Reinforcement Learning），它基于Hugging Face Transformers构建。数据集则存储在Hugging Face Hub上，作者提供了创建该数据集的直播回放链接以及详细的格式说明。这种组合既保证了高性能推理，又提供了极高的可访问性。
模型选择与微调目标：小参数量的大潜力
在模型选型上，作者遵循“小型”定义，即参数量低于10亿。虽然Hugging Face上存在如MedGemma 1.5（约4B参数，需9GB显存）等更强大的医疗图像模型，但本教程旨在探索更小规模的可行性。任务要求输出严格的JSON格式，这对于小参数模型来说是一个挑战，因为过长的输出可能导致性能下降。然而，Small Dolly等小型模型已被证明能够处理长达三页文本的输出，因此尝试结构化提取是可行的。最终目标是获得一个经过微调的food-extract-vision-small-2模型，并公开其Demo。通过对比演示可以看到：原始未微调的模型在面对非食物图片时可能无法正确识别或输出混乱，而经过微调后的模型能准确判断非食物图片并返回“0”；面对薯条等具体食物时，则能精准提取其结构信息。这一过程展示了如何利用小模型在边缘设备或低成本环境中实现高精度的视觉数据提取。
演示效果与硬件环境
视频开篇展示了微调前后的模型输出对比，直观呈现了任务成果。原始模型面对食物图片时仅返回空列表，而经过微调的模型能够准确识别并输出“French fries”（炸薯条）这一结构化标题。虽然这是一个简单的用例，但对于从食物图像中提取结构化信息的具体任务非常实用。
“So the original model outputs that. So an empty list, not what we want.”
作者指出，完整的代码和教程已整理成书籍形式发布在 learnhuggingface.com 上。本次演示的硬件环境为 Nvidia GB10 Grace Blackwell，这是 DGX Spark 设备所搭载的核心芯片。作者通过 nvidia-smi命令确认了当前运行环境，并强调虽然本次演示未使用 LoRA（低秩适应），但在未来训练更大规模的 VLM 或 LLM 时，LoRA将是必不可少的技术组件。
数据集结构与合成数据生成
数据处理遵循“Data, Model, Demo”的原则。作者展示的数据集样本包含元数据（如 image ID）、图像本身以及由 Qwen 3 VL8B生成的合成标签 JSON。这些标签是在之前的 RTX 4090项目中由 Qwen 3 VL8B生成的，现被重新用于本次 VLM微调任务。
“This output has been produced by Quen 3 VL8B as a synthetic data labeler.”
一个典型的样本包含以下字段：food_one（0或1，表示是否为食物）、image_title（简短的食物/饮品相关标题）以及 food_items 和 drink_items列表。例如，某张包含吐司、蘸酱、香草装饰和奶酪块的图片会被标记为食物，并列出具体成分。作者强调，若要将此系统投入生产环境，建议创建约 1000张 手动标注的图像数据集进行测试和验证。
VLM数据格式化与SFT原理
为了适配 Hugging Face TRL 库，原始数据需转换为特定的消息格式（Messages Format）。这包括一个 System Message 和一个 User Prompt。系统提示词设定模型角色为“食物和饮品图像提取专家”，要求其将视觉输入分类，并提供结构化数据。用户提示词则具体指导模型如何操作：判断图像是否包含可食用物品，提取列表，若无则返回空列表。
“You are an expert food and drink image extractor... Only return valid JSON in the following form.”
数据格式化过程将样本转换为包含 system、user（含图像和文本）和 assistant（理想输出标签JSON）的消息字典。作者解释，这属于 监督微调（Supervised Fine-Tuning, SFT） 问题。在SFT中，模型接收输入和理想输出的示例对，自行学习两者之间的映射模式，而无需人工指定具体的处理步骤。
“In a supervised fine-tuning... we give our model examples of inputs and outputs and then it figures out the patterns to bridge them together.”
Hugging Face Transformers 和 TRL库在后台处理了这种复杂的格式转换，使得不同模型间的通用性得以保持。作者表示未来计划去除输入提示词，实现从图像直接到输出的端到端训练。
数据预处理与训练集划分策略
在构建视觉语言模型（VLM）的微调数据集时，数据格式的转换至关重要。虽然通常可以使用 dataset.mmap 配合辅助函数进行高效映射，但在实际操作中可能会遇到卡死的情况。作者指出这一潜在问题并寻求社区反馈。数据预处理是微调流程中容易出错但必须严谨对待的第一步。
为了评估模型在未见数据上的表现，遵循 80/20 原则进行数据集划分是标准做法。我们将 80% 的数据用于训练，让模型学习特征；剩余的 20% 作为验证集或测试集。这部分数据在训练过程中对模型完全不可见，从而确保评估结果能真实反映模型的泛化能力。理想的使用场景是模型仅接收图像和文本输入，因此验证集的作用正是模拟这种“未见数据”的推理环境。
"We're going to create a training and validation split. So this is the 8020 rule in essentially we're going to use 80% split for training... and then 20% for validation or testing."
基线模型推理与输入格式规范
在正式微调之前，必须对基础模型进行快速测试以建立性能基线。本教程使用的基准模型是 Small VLM2 500M。在推理测试中，输入格式必须严格模拟生产环境：仅传入图像和用户文本（System 和 User 消息），严禁将助手回复（Assistant roll）作为输入的一部分。这是因为在真实应用场景中，模型只能看到用户提供的多模态内容。
作者尝试使用 Hugging Face 的 pipeline API，因为它能自动处理背后的格式化和预处理工作，非常适合快速探索。然而，Pipeline 仅适用于推理阶段；当进入训练和微调环节时，必须使用 AutoModel 类。
测试结果显示基线模型表现不佳。例如，输入一张奶酪拼盘的图片，期望输出为 "food image title cheese plate"，但基线模型未能正确匹配图像与文本描述。这证明了直接使用该预训练小模型无法胜任特定任务，从而确立了通过微调提升性能的必要性。
"We want to pass our model only the image and text pair. We don't want it to see the output... This is our ideal use case."
模型架构解析与组件加载
为了进行微调，需要摒弃 pipeline，转而使用 AutoProcessor 和 AutoModelForImageTextToText（Hugging Face 中 VLM 的官方命名）来加载模型和处理器。Processor 负责将图像和文本转换为模型所需的数值格式，而 Model 则执行核心计算。
加载过程会下载约 2GB 的 model.safetensors 权重文件及配置文件。从架构上看，该视觉语言模型由多个子模块串联而成：Vision Model（视觉编码器） -> Connector（多模态连接器/投影层） -> Text Model（文本解码器） -> LM Head。这种结构确保了视觉特征和语言特征的数值表示能够被有效连接。
在本案例中，Vision Model 采用 SigLIP（一种兼具视觉和语言训练能力的编码器），而 Text Model 则是 SmallLM2 360M Instruct。理解这些组件的功能有助于后续针对特定层进行微调策略的选择。明确各模块职责是深入掌握 VLM 内部机制的关键。
"The processor is what's going to turn our images and text into the format that our model needs... We have the vision model, then we have the connector, then we have the text model."
推理流程与数据预处理机制
在端到端视觉语言模型（VLM）的架构中，核心组件包括连接两个模型的MLP连接器以及负责输出Token的语言模型头部。进行推理时，流程比直接调用Pipeline更为复杂，首要步骤是应用Chat Template（聊天模板）以插入特殊Token。通过打印info chat template可以直观查看这一过程，随后使用torch.no_grad()禁用梯度计算以优化推理效率。接着调用model.generate方法，并设置max_new_tokens=256限制生成长度。关键在于对输出进行切片过滤，例如输入为400个Token时，需截取索引从第401位开始的部分，以剔除输入内容仅保留模型生成的新Token。最后通过decode函数将数值化的Token序列还原为人类可读的文本，因为模型内部处理的是数字而非直接的文字。
"We only want the output that the model has generated... we don't want to see our input."
输入数据的数值化表示与结构解析
模型接收的原始数据并非直观的图片或文字，而是经过编码后的数值张量。以视觉编码器为例，图像被转换为像素值（Pixel Values）的Tensor；文本则通过Tokenizer转化为input_ids，即一串长数字序列。为了控制注意力机制（Attention Mechanism），系统引入了掩码（Mask）：全1的掩码表示模型需关注所有输入元素，而0则表示屏蔽或忽略。在VLM中，图像通常由特殊的占位符Token表示，这些占位符本身不包含语义信息，其作用是引导模型去关注对应的像素值张量。这种设计使得模型能够区分视觉特征与文本语义，通过注意力机制将二者融合。
"These are just placeholders... this is going to tell our model, hey, pay attention to the pixel values rather than the image placeholder tokens."
基于SmallDocLining的超参数借鉴与微调策略
本教程的训练配置参考了SmallDocLining论文中的实验设置，该模型同样使用结构化架构从文档中提取数据。尽管SmallDocLining使用了2700万样本和64块A100 GPU进行长达38小时（约152节点-小时）的训练，但本教程仅使用1,500个样本。核心借鉴点在于其超参数设置：学习率设为2e-4，采用AdamW优化器，并设置了0.03的预热比例（Warm-up Ratio）。最关键的策略是冻结视觉编码器（Vision Encoder），即不更新其梯度。这一做法基于一个核心假设：预训练的视觉特征提取能力已经足够强大，微调阶段应专注于调整连接器及语言模型部分以适应特定任务（如食物图像识别），从而大幅降低计算成本并防止过拟合。
"The vision encoder is frozen. We also employed gradient clipping to 1.0... and a warm-up ratio of 0.03."
视觉编码器冻结的实验依据
在针对5亿参数规模的模型进行微调时，遵循Small Dockling团队发现的配方至关重要：视觉部分将被冻结，这意味着其权重和模式在训练过程中不会更新。作者通过幕后实验证实了这一策略的有效性：起初尝试在不冻结视觉模型的情况下训练，结果并不理想；随后严格遵循论文建议冻结视觉编码器后，效果显著改善。这揭示了机器学习研究中常见的现象：每一个成功的最终版本背后，往往隐藏着成百上千次失败的实验尝试。因此，保持持续 experimentation 的心态是AI开发的核心。由于当前数据集规模较小（仅1000个训练样本），我们选择简化流程，专注于第一阶段：即使用冻结的视觉编码器来对齐LLM部分与输出格式。虽然论文中提到了两阶段训练（先冻结视觉编码器，再全模型微调），但为了保持简洁并专注于当前目标格式的对齐，我们暂不执行第二阶段。
参数统计与冻结操作验证
为了量化冻结带来的影响，我们需要在代码层面访问并修改模型参数。通过Python对象属性 model.vision_model，我们可以定位到小型视觉Transformer编码器。在冻结之前，模型总参数量为 5亿 (500 million)。其中，可训练参数为 42,020万 (42.02 million)，而冻结参数为 8650万 (86.5 million)。实现冻结的具体代码逻辑是遍历 model.vision_model.parameters()，并将每个参数的 .requires_grad 属性设置为 False。这一操作确保了在反向传播过程中，视觉编码器的梯度不会被更新。尽管5亿参数在过去被视为巨型模型，但在当前硬件环境下被归类为小型模型。这种参数规模的划分是动态的：作者预测，三年后此类规模可能也被视为小型甚至微型模型。通过精确控制可训练与冻结参数，我们能够在有限的计算资源下高效完成特定任务的对齐。
数据Collator与批处理策略
GPU的性能高度依赖于内存利用率，因此将样本堆叠成批次（Batch）进行训练是最佳实践。虽然推理通常逐条处理，但训练需要批量输入以充分利用如DGX Spark上 128GB 的显存。然而，批次大小并非越大越好：过大的Batch会导致内存溢出或性能下降，正如作者比喻的“吃太饱会生病”。对于视觉模型，过去常见的Batch Size为128或32的倍数（如“朋友不劝朋友使用超过32的Batch Size”这一旧观点），但鉴于当前模型较大，我们需谨慎选择。数据Collator（data_collator）函数负责将文本和图像张量打包成批次。该函数借用了Gemma文档中的辅助逻辑，将消息列表转换为图像列表。关键步骤包括掩码处理（Masking）：我们需要屏蔽掉代表图像的Token ID，因为那只是一个占位符。模型不应关注这个ID，而应专注于实际的像素值张量。通过这种方式，Collator确保了输入序列中图像占位符被正确识别并忽略，从而让模型基于像素值和文本Token生成预期的输出。
SFT配置与训练器设置
监督式微调（SFT）的核心在于提供输入输出示例，让模型填补差距。我们使用 trl 库中的 SFT Config 来定义超参数，这些设置大多来自Hugging Face和TRL的默认文档。虽然可以通过阅读文档调整众多参数，但初始阶段建议保持默认设置以简化调试。配合 SFT Trainer 类，我们将配置好的参数、数据集和Collator整合在一起。这一阶段的重点是确保数据格式与模型期望的输入结构完全匹配。通过冻结视觉部分并优化批处理逻辑，我们构建了一个稳定的微调环境。作者鼓励读者在掌握基础后，尝试探索更复杂的扩展功能或调整超参数。理解每一行代码背后的数学与逻辑，比单纯复制粘贴配置更为重要。这种从实验到验证的过程，正是掌握端到端视觉语言模型微调的关键路径。
关键超参数配置与优化器选择
在开始微调之前，必须明确模型训练的核心超参数。参考 Small DPO 论文的建议，学习率（Learning Rate）应设置为 2 * 10^-4，并配合 AdamW 优化器。此外，梯度裁剪（Gradient Clipping）的阈值设定为 1.0，而预热比例（Warm-up Ratio）则定为 0.03。这些参数对于稳定训练过程至关重要，特别是使用 torch fused 版本的 AdamW 优化器时。> "Learning rate, they started it off there. 2 * 10 -4 AdamW optimizer... Gradient clipping 1.0 and warm-up ratio of 0.03."。这些基础配置构成了后续训练的稳定基石，确保模型在早期阶段不会因梯度爆炸或学习率过大而发散。
硬件限制与批次大小调整策略
训练时的每设备批量大小（Per device batch size）直接受限于 GPU 显存。虽然演示中使用了较大的批量大小 4，但这依赖于充足的显存资源。对于显存较小的设备（如 16GB GPU），用户可能需要逐步降低批量大小以应对内存错误。建议的调试策略是：首先尝试 4，如果失败则降至 2，若仍不行再降至 1。> "If your GPU is 16 GB, um you may only be able to fit one on there. But try with two."。这种阶梯式的调整方法能帮助开发者在资源受限的环境中找到可行的训练配置，避免因显存溢出导致的训练中断。
数据集规模缩减与预处理流程
为了加快演示速度，本次微调并未使用完整的数据集。原始数据集包含 1,200 个训练样本和 300 个评估样本，但为了缩短时间，仅选取了 50 个训练样本和 10 个验证样本。这种缩减使得单次运行时间从完整训练的约一小时缩短至几分钟，但代价是评估结果的泛化能力有限。完整的训练通常需要进行 4 个 epoch，耗时约一小时以上。> "I've also minimized the number of epochs... we're going to run this here on only 50 samples for training and 10 samples for validation."。预处理类（Processor）负责将图像和文本转换为模型可理解的 token，这是训练流程中不可或缺的一环。
损失曲线分析与评估指标解读
在微调过程中，监控训练损失（Training Loss）和验证损失（Validation Loss）是判断模型性能的关键。理想情况下，这两项指标应随时间下降。损失值反映了模型的预测误差，若损失降至零则可能存在数据泄露风险。另一个重要指标是 平均 token 准确率（Mean Token Accuracy），它表示模型预测输出 token 的正确比例。> "The loss value is how wrong your model is... mean token accuracy. This is the raw accuracy value."。尽管数字指标提供了量化参考，但最终的评估仍需结合具体样本的人工检查，因为数值上的高准确率并不总是等同于视觉理解能力的提升。
模型保存与上传至 Hugging Face Hub
训练结束后，使用 trainer.save_model 将检查点保存为本地文件。生成的目录包含更新后的模型权重文件（如 model.safetensors）以及相关的 JSON 配置文件。> "Now if we have a look at the files... models.safetenses and then a bunch of config files in JSON."。若要将微调后的模型上传至 Hugging Face Hub，需先通过 hf login 进行身份验证（在 Google Colab 中需配置 HF Token）。上传前建议清理本地目录中的临时检查点，以确保只推送最终的模型文件。> "I'm going to remove the checkpoints that are in here... upload this whole directory to hugging face."。这一流程使得微调成果得以共享和复用，便于后续的实验对比和应用部署。
模型训练完成与Hugging Face高效上传机制
视频展示了从本地训练到云端同步的完整流程。作者首先确认了模型已基于视频数据完成创建，并通过API将包含新权重文件的文件夹上传至Hugging Face Hub。由于网络速度影响，上传过程需要等待数分钟直至完成。作者特别强调了Hugging Face Hub中一个名为 Zet Z 的数据层特性，该机制仅更新发生变化的文件。例如，在本次操作中，由于模板文件未变，只有经过训练的 model.safetensors 权重文件被实际上传。这种增量更新机制极大地优化了数据管理效率，若未来增加数千个样本或修改特定行数据，系统只会提交变更部分。上传完成后，作者验证了Hugging Face页面已刷新，新版本的Commit URL在不到一分钟内即可生效。这一特性对于迭代训练大型模型至关重要，确保了版本控制的精确性与资源节约。
微调前后性能对比与数据规模反思
为了验证微调效果，作者将 预训练的基础模型（Base Model） 与 经过千级样本微调的视觉语言模型（Fine-tuned VLM） 进行对比测试。基础模型ID为 huggingface/small-vlm-250m，而微调模型则加载自作者的个人Hugging Face配置。测试选取了验证集中的随机样本，输入包含图像和提示词“egg drop soup”（蛋花汤）及其理想标签列表。结果显示，基础模型输出了空列表，完全无法识别内容。相比之下，微调后的模型成功生成了包含“soup”、“red chili”等关键词的描述文本。尽管输出格式并非完美，但模型已能按照预期结构生成相关食物描述。作者指出，当前仅使用了约1000张食品图片和500张非图片样本进行训练，而生产级模型（如Small Dolly）通常使用2700万样本。因此，当前成果证明了流程的可行性，下一步扩展方向是大幅增加数据量至数万级别以提升精度。此外，作者提及了可选的“第二阶段”训练（解冻视觉编码器），但在当前小数据集下改进不明显，需更大规模数据支撑。
构建交互式Gradio演示应用
为了让模型易于交互和分享，作者指导如何创建一个基于 Gradio 的演示应用。这需要准备三个核心文件：app.py、requirements.txt 和 readme.md。在代码实现上，作者定义了基础模型管道和微调模型管道，并编写辅助函数将Gradio接收的图像输入格式化为模型所需的消息结构。部署方面，作者推荐使用 Hugging Face Spaces 进行托管，并指出可以使用免费的Zero GPU资源（作为Pro订阅用户拥有更多权限）。通过编写代码而非仅使用Web界面，开发者能更灵活地控制应用逻辑。最终目标是构建一个直观的接口，让用户上传图像后直接查看模型对食品内容的识别与描述结果。这一环节将后端训练成果转化为前端可交互的服务，完成了从模型微调应用到实际演示的闭环。
构建Gradio演示应用与部署流程
在模型微调完成后，首要步骤是将其封装为可交互的Web应用程序。通过编写Python代码定义extract_foods_from_image函数，该函数接收输入图像，分别调用原始管道和微调后管道的输出进行对比展示。为了便于用户测试，代码中嵌入了示例数据，并创建了app.py文件作为Gradio界面的核心。同时，编写了详细的readme.md文档说明项目背景及来源。这一过程将复杂的模型推理转化为直观的用户界面，使得非技术人员也能轻松验证微调效果。此外，由于Small VLM2对依赖库有特殊要求（如numb to words），在Google Colab等环境中需提前安装相关包以确保兼容性。
完成本地开发后，利用Hugging Face Hub的SDK将演示应用上传至云端。通过指定repo_type为space并调用相应的SDK函数，整个演示文件夹被打包上传。上传成功后，Hugging Face会自动重建空间。这种一键式部署机制极大地降低了模型展示的门槛，用户只需访问生成的URL即可体验实时推理。尽管重建过程需要短暂等待，但文件结构的完整性确保了应用能够正确加载所有依赖和逻辑代码。
实时测试与模型局限性分析
部署完成后，通过实际图像输入对微调后的视觉语言模型进行测试。测试结果显示，相比基础模型，微调后的VLM在食物提取任务上表现显著提升，但仍存在明显的生成重复性问题。例如，在处理某些图像时，模型倾向于输出冗余的JSON结构或重复描述同一食物。作者指出这是当前版本的主要缺陷，需要在后续迭代中重点修复。这种“过度生成”现象表明模型在结构化输出的约束力上仍有不足，虽然能识别出如“French fries”等正确内容，但输出格式的稳定性亟待优化。
“Our fine-tuned model tends to output repeated... So that is one of our extensions. How do we fix that?”
为了验证模型的泛化能力，测试了不同场景下的图像输入。尽管基础识别功能正常，但重复输出的问题限制了其在生产环境中的直接可用性。这一发现揭示了从实验性微调走向工业级应用的关键挑战：不仅要提高准确率，更要保证输出格式的严格一致性。作者邀请观众通过提供的链接尝试自己的图像，以收集更多样化的反馈数据。
面向生产的扩展与优化策略
针对当前模型在正式评估、数据多样性和推理效率方面的不足，作者提出了四项具体的改进策略。首先，需要建立形式化的评估体系，将微调模型与Qwen 8B等大基座模型进行直接对比输出分析，取代目前的“直觉式”评估。其次，提升数据采样的数量与多样性至关重要。除了现有的Food 101数据集（其图像质量参差不齐），应引入超过1,000张真实生活场景的高清食物照片，特别是类似Neutrifi演示中那种复杂背景下的餐盘图像。引入真实世界测试数据（Genesi Gumbatu）能显著增强模型对现实场景的鲁棒性。
在推理效率方面，作者建议移除输入提示词（Input Prompt）。当前模型需接收包含指令的文本对图像进行微调，这引入了约160个token（基于GPT5 tokenizer估算）。如果改为直接从图像到结构化文本的端到端映射，不仅能节省输入token数量，还能潜在降低推理延迟。此外，针对重复生成问题，建议采用强化学习验证奖励（RLVR）技术。通过设计特定的奖励函数：若生成非重复输出则给予+1分，若出现重复则得0分，从而引导模型优化生成策略。最后，作者鼓励实践者将微调流程迁移至其他结构化数据任务（如发票信息提取），以验证小模型在通用领域的应用潜力。
视觉智能应用：从海报到结构化数据的自动化提取
在探讨如何实践微调（Fine-tuning）视觉语言模型（VLM）时，一个极具代表性的应用场景是复刻类似 Apple 的“视觉智能”功能。具体而言，用户可以上传一张包含活动信息的海报图片，模型需要从中精准提取出关键元数据。这些数据结构化字段包括活动日期（date）、金额或价格信息（amount）以及详细描述（description）等。通过这种提取过程，模型能够理解非结构化图像中的文本信息，并将其转化为机器可读的格式。这种技术路径的核心价值在于自动化数据录入与流程整合。提取出的信息可以直接被格式化输出为 JSON 格式的数据包，从而无缝对接到用户的数字日历或其他日程管理应用中。这不仅展示了 VLM 在信息抽取方面的潜力，也为开发者提供了一个极佳的微调练习项目。通过让模型学习从复杂背景中提取特定语义字段，用户可以显著提升其在垂直场景下的表现。
数据分布对模型性能的影响与微调策略分析
在实施上述提取任务时，理解预训练数据的分布对于评估模型效果至关重要。通常情况下，像从图像中提取文本（extracting text from images）这类基础任务，由于在大规模预训练数据集中存在海量样本，模型往往已经具备了较强的泛化能力。因此，微调后的模型在处理此类通用 OCR 或文本提取任务时，预期会表现得更加出色。然而，这并不意味着微调没有意义。相反，通过针对特定格式（如 JSON 输出）和特定领域数据进行调整，可以进一步优化模型在结构化信息提取上的准确性和一致性。对于希望深入探索的读者而言，本教程提供了一个完整的端到端微调流程示范。如果观众对纯文本领域的模型优化感兴趣，还可以参考相关的大语言模型（LLM）微调教程。通过对比视觉与文本领域的微调差异，可以更全面地掌握多模态大模型的训练技巧。对于未来希望看到的内容方向或具体技术问题，鼓励观众在评论区留言互动。
结论
本次教程证实了在Nvidia DGX Spark等边缘设备上，利用千级合成数据微调小型视觉语言模型（<10亿参数）的可行性。通过冻结SigLIP 2编码器并采用SFT策略，模型能从无法识别的空输出转变为能准确提取食物JSON结构的有效工具。尽管当前版本存在重复生成等格式稳定性缺陷，且数据规模远小于生产级模型（如SmallDocLining的2700万样本），但该流程成功验证了“大教小”蒸馏路径在低成本、高隐私场景下的实用价值，为端侧结构化数据提取提供了可复现的技术范式。