MTP技术原理与旧式推测解码的对比
本视频主要探讨多令牌预测（MTP）技术，旨在显著提升本地大语言模型（LLM）的运行速度。回顾早期技术，推测解码依赖一个主模型和一个较小的草稿模型协同工作：主模型处理提示后，草稿模型向前预测几个回合，随后由主模型验证这些猜测。若猜测正确则直接接受，错误则需重算。虽然该方法在Llama等大模型上表现尚可，但存在显著缺陷：内存占用翻倍（需同时加载主、草稿模型）且提示处理耗时加倍，且在开源生态中显得笨重。新一代技术如D Flash、MTP和Eagle 3解决了这些问题，其中MTP无需独立的草稿模型进程，而是作为主模型的额外层存在。由于该层与主模型共同训练，其预测精准度极高，能在极小的内存开销下实现约2倍的速度提升。
Q9量化下的面部生成质量与速度平衡
在测试Qwen模型的面部渲染能力时，作者指出尽管27B参数的模型生成的面部图像在视觉上非常逼真且完美，但并未呈现出典型的人类面孔特征。随后切换至Q9版本的推测解码器（Speculative Decoder），系统生成了2,600个token，速度达到34 tokens/s。虽然从17提升到34看似显著，但作者认为相较于Q8版本的提升幅度有限。然而，Q9版本在降低内存占用的同时提供了更好的token生成速度，这种“少而精”的量化策略值得肯定。作者强调可以通过调整推理设置中的种子（seed）来获得不同的生成结果，但核心优势在于维持了34 tokens/s的稳定输出。
"I like the cut of that gym."
Q4极简内存开销与Flappy Bird基准测试
为了进一步验证极限性能，作者引入了仅占用265MB额外内存的Q4量化MTP版本。该版本生成了超过3,000个token，虽然面部生成结果抽象且非写实，但作者赞赏其动画效果。随后进入更复杂的3D Flappy Bird测试：在无推测解码且禁用思考模式下，生成2,600个token耗时约30秒（内存占用29.7 GiB），仅生成一个基础立方体。启用Q4推测解码后，速度跃升至36.8 tokens/s；而开启思考模式（Thinking Enabled）后，MTP版本生成8,000个token的速度达到34 tokens/s，相比基线的17 tokens/s实现了速度翻倍。尽管Q9和Q4版本在3D游戏生成上表现相似，但MTP带来的速度倍增效应是核心突破点。
Q4 MTP在3D模拟中的稳定表现与种子影响
在本次测试中，Q9 MTP版本仅生成了8,000个token，而启用MTP的Q4版本则成功产出了17,000个token，速度达到32 tokens/s。尽管中间两次生成因种子链式反应导致结果不佳，但Q4 MTP版本最终呈现了与无MTP版本相当的高质量画面：角色可以跳跃、奔跑并环顾四周。作者指出，种子随机性是AI生成质量波动的主要原因，正如Mistral 3.5发布时外界对其样本选择标准的质疑一样。无MTP版本生成18,000个token的速度为16 tokens/s，而MTP版本仅需额外占用250MB内存即可实现速度翻倍。
"We'll hit the play button and start. And again, we've got just a good generation that we had in the first time round..."
"So, the Q4 version produced a good amazing result as the UNMTP version. So 18,000 tokens, that's 16 tokens a second versus 32 tokens a second."
结论
MTP技术通过作为主模型额外层而非独立草稿进程，在仅增加约265MB内存的极低开销下，实现了本地LLM生成速度从17 tokens/s到32-34 tokens/s的稳定翻倍，彻底解决了旧式推测解码内存占用翻倍的痛点。其核心优势在于Q4量化版本能在保持与无MTP相当生成质量（如3D角色交互）的同时大幅提升效率，且Q9版本在面部渲染上平衡了速度与内存。短板在于生成质量受种子随机性影响较大，且Q4版本在复杂3D场景下的视觉表现略逊于高量化版本。该方案适用于内存受限但追求推理速度的本地部署场景，尚未证明其在极端复杂任务中能完全替代高内存配置的质量上限。