那我可以理解为，它就是一个抄答案的过程。它肯定不是我们原初意义理解的那种抄答案，就是你能直接有个答案就抄过来。嗯，因为它还是一个训练的过程，包括这个过程中间，你也要。防止自己被坑吗？对，我知道有某一家模型就是用中转站，结果发现它其实蒸出来的是自己的，就自己在蒸自己。对，所以综合来说，就把技术和组织都考虑进来的话，那张一鸣说有可能很难超越，也许是一个真实的情况。
张一鸣可能不是最懂技术的，但他大概率是最懂人性的。蒸馏风暴：一场无人公开谈论的技术竞赛。大家好，欢迎收听晚点聊，我是洪浩。那今天又是我们晚点编辑部自己录的一期节目，没有嘉宾。然后我是今天的代班主持。那我们的嘉宾呢，其实是大家每一期都能听到的万奇。对，今天是我和洪浩一起来聊我们最近做的一个报道，是关于蒸馏这个话题的。
对。然后开头我先叠个甲，就是正常来说，这个话题最合适的方式可能是你找到一个一线从业者。他做过这件事情，是然后请他来把他聊得比较透，但也就像我们那篇文章开头写的，所有人都会。去关注这件事儿，对，但大家不会公开去谈论，所以其实他不太好找到嘉宾来在节目里去讲这个事情。那我们最后就是我们自己来聊，这个信息可能就是来自于我们最近这一段时间和很多不同公司的一些从业者和研究员所获得的一些关于蒸馏的信息。
这确实也是目前行业里非常受关注的一个话题。啊，现在每个人都在谈蒸馏。就如果对于一个可能对于技术并没有那么精通的人来说的话。你觉得你来解释蒸馏，你会怎么去解释这件事情？嗯，我对技术也没那么精通，我就尽量用我觉得我理解的方式来解释。典型的为了变强的蒸馏，其实大家主要讨论是这个嘛。我理解它的这个过程简化来描述就是。
你先有一堆问题，然后你去问一个很强的模型，比如说你去问Fable，你就得到了很多回答，对吧？然后这个提问和回答就会构成一堆这种数据对，然后你再用这些数据去训练你想去提升的。那个学生模型就是你自己的模型，然后你让学生模型的输出行为去接近你想学的教师模型的输出行为，你让两者的差异越来越小，这是比较典型的蒸馏。
当然，我刚才那个是一个简化的描述，比如说你中间。从那个教师模型那儿通过提问得到的东西，它其实是含义可能是在变化的。比如说，有了推理模型，就是 OpenAI O 一系列这种模型，D B C R 一这种模型之后，它不是简单的题目和回答，然后它中间还会有推理过程，嗯，然后包括后面 agent 也越来越发达了嘛，所以这个还可以扩展到一个完整的 agent 完成一个任务的过程。
那我可以理解为它就是一个。抄答案的过程，就是比如说我问我这个模型一个问题，嗯，然后它可能现在它没有蒸馏之前，它的回答是非常的差的，或者是它可能都不知道怎么回答这个问题，嗯，然后我去问 Fable 一个问题。Fable它能给我一个非常精妙的一个推理过程以及一个最后的结果，然后我就直接把这个答案告诉我的模型说：“以后你遇到这个问题，你就去按照Fable这样的方式去回答。
”然后这样的一个问题多了，答案多了，最后我的模型也也懂去回答，包括去泛化，它可能类似学习Fable的这种推理思考方式，变成了一个很智能的模型。就是我觉得它肯定不是我们对我们是原初意义理解的那种抄答案，就是你能直接有个答案就抄过来。嗯，因为它还是一个训练的过程，就现在。这种蒸馏主要是用在后训练和中训练的，你要用算力，然后你是要有数据要去放到模型里去训练，就是一个比较高难度的去获得答案的过程。
嗯，这个里面不是说像抄作业那样，人家写A你就A的，是你这个是要有一些方法和技巧和你的智慧和你的劳动在里面的。嗯，就是所以它不是简单的抄作业的结论就是这样。嗯，就是它虽然也是抄作业，但它是有门槛的抄作业。其实可以不用这个类比吧，因为类比肯定是会丧失一些精度了嘛。但是我没有想到一个特别好的类别，就比如它特别像日常生活中的什么行为啊。
但是它描述的过程是我刚才说的那样，就接刚才那个说完，就说像 Agent
更发展之后，就其实你从教师模型里获得的整个的轨迹数据，它的含义是在变得更复杂了。这个正好是文章里面又特别展开的，波克里也可以补充一下，就是智能体的轨迹蒸馏。如果就对比到我刚才说那个经典的过程的话，它现在要获得的东西就是它要从教师模型上榨取的那个数据，它就不再是静态的题目、推理过程和答案，嗯，它是扩展成了就是一个智能体，你在一个环境里面，你去完整的做完一个任务的整个过程。
我觉得要先跟大家解释一下环境这个概念。哦，环境就是让 agent。真正把任务跑起来的一整套条件和系统，就比如说你要让他做一个编程任务，你要给他一个代码库、终端还有必要的工具，比如代码编辑器、编译器还有测试工具，然后再设置任务和单元测试，就是看这个程序跑对了没。然后具体来说，这个更强的教师模型，比如说你用Fable可以干什么？
你可以让它来造一些题目，当然一般大家是会先有一些真实的题目，嗯，然后再去改写和扩增这些真实的题目。然后你也可以让它来造环境，因为其实很强的模型都有coding的能力嘛，它本身就是可以去构造这种环境系统。然后你也可以用它来造轨迹，这个是比较接近典型的蒸馏的，就是相当于就是。你让这个cloud自己在它造的这个环境里面，它去把这个任务做一遍，你会获得它一个完整的做这个任务的过程。
其实它也是一堆数据嘛。然后你再让你的这个学生模型，你自己要训的这个模型去行为上接近它做这整个任务的这个过程。但实际上，你也可以不做这一步。就如果不做这一步的话，我就是用这个更强的模型来去评估我自己的模型在这个环境里做任务做的怎么样。那如果是这个的话，它可能就不是蒸馏了。我觉得它能描述成说，你用了一些最强的模型的数据和输出来帮助你做一个智能体的强化学习。
对，那如果总结一下，我觉得典型的蒸馏就是你是在让这个学生模型去学这个教师模型的输出，然后让这两个行为越来越接近。嗯，就是你用到了对方，要么是他推理的轨迹，要么是他完成一个比如智能体任务的这种完整的轨迹。所以有一个误区可以讲一下，就并不是说在训练一个模型的过程中，只要你用到了另一个更强的模型的数据和输出，它就是一个典型的蒸馏。
但是你确实是使用了更强的闭源模型的输出，在提升和优化你自己的模型。然后你说到这个，就正好想到一个问题啊。即使是这种情况，对Anthropic、OpenAI和Google DeepMind这些公司来说，也是违反了他们的用户协议的。就是他们原本的模型的用户协议里面已经说明了，就是我的模型吐出来的这些内容也好，答案也好，是不能。
被拿来去做训练的，不要更宽泛，是说你不能利用我的服务去提升和优化你自己和我竞争的模型啊，嗯，其实这个是很宽泛的，嗯，对，所以哪怕有些行为它不是蒸馏，在领先的闭源方看来，你也是违反。用户协议的这个用户协议有法律效应吗？这个我觉得可能得咨询特别专业的律师。嗯，我觉得从朴素的这种想法上来说，目前是个灰色地带吧。
嗯，因为它这个范围其实很宽泛嘛。因为其实整体整个蒸馏的历史也没有那么长，对吧？就是我们现在我不说原理哈，就是现在大家真正开始做蒸馏这件事情，或者大规模做这件事情，从什么时候开始的？你觉得大概是？我觉得它比较新。其实你从就 Anthropic 这些公司的声明里也能看到嘛。比如说 Google
今年二月的时候，它是发了一个文章，然后那个文章里的原话是说：“我们观测到去年开始蒸馏等一些其他的这种，他们称之为。
”偷取IP的行为，嗯，变得越来越多。我获得的信息就是从二五年到现在是规模变大了很多。二五年什么时候？二五年年初啊，DeepSeek出来的，DeepSeek二一发布之后。但我觉得这个关键的时间点还不在二一啊，它中间有两个比较重要的节点，一个是在二四年九月的时候，OpenAI发布了O一这个模型。因为O一是第一个算是开启了推理模型这种范式的一个模型，然后O一是带来了两个比较大的技术上的变化，这个在。
我们自己写蒸馏的那篇文章里也提到了，一个就是 O1 它揭示了你在后训练中做大规模的强化学习是可以让模型学到推理策略的啊，这个推理是 reasoning。然后蒸馏本来也主要是用在后训练的，所以在这个阶段你更多的去做蒸馏，你的投入回报是上升了。然后 O1
还有一个发现。或者说，它开启了一种新的方法，就是你在测试时时间，就是在模型的推理阶段，这个推理是 inference，就是模型使用的阶段，你去给它更多的算力，然后让它去围绕一个问题一步一步的想生成更长的思维链，也能持续提升这个模型的性能。
然后有了这个思维链和更多的推理过程之后，就这一部分它也是模型使用阶段的产出。就相当于作为用户，理论上你是可以看见的，但是它可以隐藏，但你能通过一些手段去还原。然后这部分东西就变成了更好的来蒸馏的数据的原料。啊，相当于蒸馏模型出来以后，大家发现有漏洞可以钻，这不是漏洞啊，对，不是漏洞，或者说有方法可以蒸馏了。
也不是有方法，蒸馏这个方法之前就有啊，嗯，只是说你能蒸的那个原料变得更丰富了呀，就你还有了推理更好了，你还有了推理过程这部分嘛，嗯，所以就是第一个变化，我觉得它提升了蒸馏这个方法的投入回报比是，然后O一带来的第二个变化是说有了更多高级的模型可以生成的，可以用于蒸馏的数据啊，嗯嗯，然后蒸馏变得更多的第二个比较重要的时间点，我觉得确实是跟DeepSeek R一当时发布有关。
具体来说，就是R一的技术报告那会儿发的时候，就一月份嘛，二五年一月份，他还发了六个小的蒸馏模型，然后这六个模型，四个是Qwen二点五的底座，然后还有两个是Meta Llama三的底座。六个模型都是把 R 一当做教师来学啊，然后他大概就是在试，就说这种方式能不能让小模型的能力提升。其实这个才是蒸馏最开始的一种比较主流的目的，就是是为了压缩的。
就是把一个大的模型的能力压到一个尺寸更小的模型里面，然后它的好处就是说，大的模型一般来说就比较贵和慢嘛。一个它是可以降低成本，可以提高速度。另外就是有一些场景，比如说在手机上、在汽车上这些端测算力更少的地方，包括未来的机器人上。其实需要相对小的模型，因为它对延时、对算力的要求都更多。就比如说，我现在都能记起来，我第一次在线下采访中间跟人比较长时间讨论蒸馏是个什么情境，嗯，是当时去采访毫末的CEO顾威浩，然后他们是做自动驾驶的，他当时就讲了很多自动驾驶里面蒸馏的想法，因为在这个场景是很典型的，为什么它需要压缩？
就你在云端训的一个模型，它比较大嘛，然后你要放到车上，因为车上当时应该是用 Orin 之类的吧，这些英伟达的芯片，它算力还是相对有限的，相比于云端的算力，所以你就要让它通过蒸馏和剪枝、量化的这些方法变得更小，这样它能在车上延时更低，就是速度更快，是，然后它消耗的算力也更少，而且这个对车、对机器人这种场景延时低这个事儿是很重要的。
所以这是最开始蒸馏的主要目的。嗯，它其实不是为了做更强的去追赶，或者做对它它不是为了更强，更实用吧？对对，它是为了把一个更大的模型的能力压到一个更小的模型里。嗯，其实像比如说 DeepSeek、千问也会做这种，对吧？对，千问是做了很多的嘛？是，因为千问每次一发，其实它的开源的尺寸是非常多的。嗯。然后后来就是到我们现在看到蒸馏吗？
嗯，我们现在看到蒸馏其实就是为了变强的蒸馏。嗯，所以这个风为了变强，这个风气是谁带起来的？我觉得这个可能你很难追溯到是谁带起来的。我觉得。就你，你其实压缩和变强是一体两面。就我把一个大的模型的能力压到一个小的模型的能力里面。我其实也是让这个小的模型的能力在变强，是它一开始就这个潜力对吧？它就有这个空间啊。
今年以来，大家对于蒸馏的这个讨论是格外的热烈，比去年要热烈更多。对啊，那就是从二五年之后大家蒸的多了呀。嗯哼，包括那个 Anthropic、 OpenAI、 Google DeepMind 什么的，他们都在二六年年初开始，他们其实也有更多的公开的一些文章，嗯，包括他们给美国政府的一些公开信里面，他有更多的去提到，就是说中国公司在蒸馏他们。
嗯，我觉得这是一个比较明显的导火索吧，就让大家更多的来讨论蒸馏。还有一个更重要的大的背景，就是最近这段时间，中国的开源模型的表现是明显逼近闭源模型的。比如说 K3 就是一个里程碑。其实 K3 在美国是引起了很多讨论和争议的。这个我们在上两期节目，就一百七十七期专门聊 K3 的时候，开头也是聊了这个事情。
所以，就各种原因累积吧。一个是它规模应该确实变大了，然后另外就是有了更强的开源模型逼近美国的闭源模型之后，本身中美对这个话题都更关注。所以蒸馏被推到了风口浪尖，嗯，但其实也有一些公司不蒸馏，对吧？就我们前阵子也报道了，哦，那不是你写的，你编辑的，对这个字节，啊，就是张一鸣非常罕见的一个露出，我们已经很多年没有写过这三个字了，对，然后我们在报道里面其实也有写到嘛，就张一鸣在。
seed的一场内部会上面提到说，他不允许字节去做这个蒸馏，然后包括我们之前其实也了解到，字节很长一段时间都没有去做蒸馏这种行为。嗯啊，严谨的来说了，罕见的有人不蒸馏，并不代表其他人都蒸馏。Anthropic Open AI 和 Google Deep Mind 都说谁谁谁蒸馏了，他也并没有展示完整的证据啊。
然后说回你说这个话题，其实我有关于这个报道本身，我其实有一些想问你的地方。嗯，因为就当时我看这个报道的原文。他只是说张一鸣说他反对蒸馏，对，其实他好像是没有特别多上下文的语境，或者说他反对哪一种蒸馏，还是所有的蒸馏？我而且我也不知道他是怎么定义这个事情。对他其实没有明确的说，我到底什么是蒸馏，或者什么样的方式干蒸、湿蒸，就是各种，他其实没有这样的一个定义。
就是全员会上本身就没有。其他很多语境是吧？对，OK，哦，你刚才问题是说怎么看他明确表态不蒸馏这个事儿？因为字节它其实是一个算力非常多的公司，然后现在整个大模型的竞争又极其激烈。再加上，可能我们一直觉得 C 的的表现吧，并没有预期中的，好像说啊，四杰一定会 SOTA，或者甚至他在很多领域离 SOTA 还很远。
比如说 coding，比如说 gigantic，就是智能体的这个领域，其实离真正的一线还是挺远的。嗯，对。那他居然主动拒绝使用蒸馏这种方式，为什么？你觉得这个问题我们可以讨论啊，因为你对自己也比较了解。首先，你那个报道里面不是已经写了几个原因吗？是，我觉得也都挺有道理的啊。一个就是张一鸣他认为说，他觉得蒸馏是短期内可以改善模型表现，但本质上是在复制 Cloud 已有的能力。
嗯，所以你这么继续干下去的话，你最多只能逼近对方，你是不能实现超越的。嗯，那潜台词就是。C的追求的肯定是做到世界第一吧，我理解啊，就最强的模型，就是他们的抱负和追求。然后第二个原因就是那篇文章里也写到，就是他希望C的可以从更底层的维度去构建自己在AGI上的壁垒，就有可能他认为蒸馏不是一个长期壁垒。当然，其实大部分从业者也都是这么认为的。
然后最后一点，最后一点这不是个原因的解释，是我觉得是一个比较强的表态，就是说，即使不蒸馏，意味着自己会在技术上短暂落后国内的一些竞争对手，但他们也不采用这个捷径来推进自己的模型能力。嗯，我觉得他自己说的是比较清楚。然后有一些，我觉得可能我不确定他这个全员会上讲了没有。我觉得他作为一个这么大的公司，而且他在全球都有业务嘛，他对合规、对其他国外的公司怎么来看他，我觉得他会有更多的考虑吧。
嗯，你觉得 Seed 今天没有办法 SOTA 的核心原因，有没有可能是因为就是他没有蒸馏？这个所谓的 SOTA 是说国内 SOTA 吧？啊，你觉得呢？我觉得有一定的原因吧，因为你接触一些他们自己的人嘛。是，他们怎么，他们自己怎么觉得？我觉得不蒸馏是一个呃挺重要的原因之一吧，但你也不能完全归咎到这件事情上面。
嗯，虽然这是个万金油的回答，但是我觉得它是挺接近事实的。嗯嗯，其实据我了解，嗯，就比如 C 的 2.1 应该是用了一些蒸馏的手段，然后那个是六月份发的。我觉得他在这之后应该是经过一段时间的思考，他是做了一个比较明确的。他们内部应该是有比较激烈的讨论，最后还是决定。不要蒸馏，而且其实你看它这个时间很短，因为二点零到二点一的话，你算它这个开发的时间，我觉得也就是今年吧。
然后在那之前有比较长的时间，两年多、两三年的时间，字节应该是确实不怎么蒸馏的。你觉得张一鸣自己说的不蒸馏的核心理由就是蒸馏只能逼近不能超越，这成立吗？我觉得是这样的，就是首先是张一鸣自己提到的，如果研究蒸馏这条路，最多只能不断逼近对方，很难实现真正超越，这个是有可能的。我之前也问了很多从业者，大部分人认为这件事在技术上是否绝无可能？
我是指就是说蒸馏是否学生模型就不能超过教师模型，它可能不是绝无可能的。是有可能的，这这我觉得是一个研究课题吧。其实蒸馏有很多方法也可以优化呀，对吧？比如说我是不是可以不仅学某一个模型，我学更多的教师模型，我博采众长？当然有可能你训不好，就是你博采众短都有可能。就anyway，它是有很多可以去探索的空间的。
但大部分人也都认为，就是蒸馏它会有一个隐患或者说代价，就是组织和人的激励吧。如果说一段时间里面你把很多精力和重心放在蒸馏上，因为蒸馏确实是一个我觉得相对来说它比较经济，就成本比较低，而且它比较有确定性，这个是更关键的，比较有确定性的去提升你的能力的方式。如果你把重心放在这个相对有确定性的方式上，那组织里一些去做更长期的探索、去走一些更不确定性的路的项目或者说人，他们可能就得不到足够的资源和认可。
我觉得认可也很重要。其实这种顶尖研究员，他还是很需要一个，就是这种。更创新的研究能被鼓励、能被看到的环境吧？我觉得有这个组织上的隐患。对，所以综合来说，就把技术和组织都考虑进来的话，那张一鸣说有可能很难超越，也许是一个真实的情况。其实当时就是你这篇文章发布之后，我自己在朋友圈还有极客，我都写了一个挺长的分享的。
我就是在问我之前就在想的那个问题，就是学生模型是否一定不能超越教师模型？然后我也分享了一些我当时就获得的这个行业里的一些从业者的反馈啊。然后有一个人在极客上的留言，我觉得就挺有意思。他就是说，张一鸣可能不是最懂技术的，但他大概率是最懂人性的，就可能会有这种组织上的代价吧。这说的蛮好的，嗯，啊，另外蒸馏还有一些内在的技术上的一些问题啊，比如说你有可能会学到教师模型的一些错误。
和他的一些什么巨大表现啊，总总总之，你的行为会比较接近他嘛？嗯，就你也可能会学到一些不好的东西啊，所以他也有一些技术上的问题啊。那其他公司的人难道就不会意识到这个问题吗？因为我们知道，可能国内可能也有几家公司表现出来，他对 A G I 是有信仰的。对吧？我觉得他们应该也能看到蒸馏的一些代价也好，一些负面的影响。
我觉得取决于你认为这个代价是否是可控或者可接受的吧。就文章里有一个比喻嘛，一个运动员理论上是可以禁克兴奋剂。有请假训练呢，也许真的就有人是这么干的，对吧？只是说一般而言，你如果嗑了兴奋剂之后，你肯定是会有一些侥幸和惰性的，嗯嗯嗯。Maybe其他人想的是，呃，我可以克制这方面的，我可以减少这方面的问题，嗯，或者我不一样，嗯。
这个我不知道，这个你可能得去问每个公司的，对吧？这些决策者他们是怎么想的？哦，还有一种可能，就因为蒸馏只是优化模型的方法之一，对吧？有可能对一些公司来说，它什么阶段什么方法有用，它就会在这个上面会做投入啊。那过了一段时间，也许你会发现更有用的方法，其实你就可以去用那些更有用的方法。而且，确实在实践中，一个公司它做蒸馏，首先这肯定不代表它后训练的数据全部都是来自于蒸馏的，它肯定也会有别的数据。
另外，也不代表它不干别的事儿。他肯定也得做 infer 的优化，然后他可能会去有一些，呃，算法和架构上的优化等等，就他也会去更好的去构造他自己的预训练的数据集。他还有很多别的事儿。我刚其实上次选题会的时候也说到，自从张一鸣有这个明确的表态之后，有一些人想从 C 的离开嘛，是是是是是，确实是这样的。但这个其实也很个体。
你说有两三个、三四个人离开，好像也也不稀奇。然后他们个体的原因就是认为他们觉得不应该放弃这种方式，是吗？因为你的职业生涯是有限的。就是你每一个人的从个体的角度来讲的话，那我当然是希望，比如说我在 seed 的这这几年时间里面做出自己的代表作，明白？就是希望我的职业履历里面，我所在的团队是做过最强的模型的，是就比如至少中国最强的模型。
对啊，我最宝贵的这个人生阶段，或者说我的职业阶段，可能就是这几年。然后我一直在里面陪着你耗，当然这个是非常我叫非常个人化的、个人化的这种想法啊，我觉得也合理吧。嗯，而且其实你去推测的话，有人会这么想，也可能会有人被张一鸣的这种表态招。对对对。那如果他不蒸馏的话，从你的角度来看的话，他现在更应该做什么，或者是说他的重心应该是什么呢？
就是自己怎么去构造高质量的数据嘛。是是是。而且你已经看到他有动作了，也是本周啊。就智能涌现有一个报道是说，字节从六月开始重组数据团队，然后现在是要成立一个新的和 Seed 和 Flow 平行的一级的 AI 部门，是叫 AI 数据和安全。就相当于他把数据应该是就作为一个很重要的能力给他抽出来，然后成立了一个就级别还挺高的一个大的团队吧。
所以我觉得他得自己去获得某种你不依赖于外部的。领先的闭源模型不依赖于 OpenAI、Anthropic 这些公司的数据的能力。我又想问你呢，就他们新成立的这个 AI 数据安全部门的这个负责人叫王银磊，嗯，Adam 王这个人你之前接触过吗？他是原来在 TikTok 负责直播的。他跟文佳和呃Alex都汇报过，哦，OK，所以相当于跟他们之前都共事合作过。
对，因为我看就是公开信息，就是说他之前在TikTok，嗯，然后现在来负责数据，因为我不太确定这两个事儿之间的相关性。就说到数据这个事儿，其实现在有很多第三方的数据公司也做了表达。对，所以这个我也很好奇，就是如果我用我第三方的数据公司去做蒸馏，然后我去买他们的数据，嗯，那这个算什么呢？因为我也听说一些公司，他可能说自己不蒸馏，可能在体外去做一些操作来实现蒸馏的这个目的。
那比如说我买第三方数据，这个算蒸馏还是不算蒸馏？我觉得这有很多操作空间吧。嗯嗯，分两个层面来说，就是他在技术上，我觉得如果你是让你自己要训的那个模型，然后你去逼近你获得的一堆更强的模型的。这个输出和行为，我觉得技术上它是蒸馏，嗯，至于法律上，或者说你是否违反对方用户协议上。这个问题是否能绕开？有很多操作空间啊。
包括如果之后美国有更严厉的限制的话，可能也有对方政府的一些限制。这个就不单纯是技术问题了，这应该就会涉及到很多不同层次的问题了。嗯嗯，我们接下来可以讨论一下更多公司或者说整个行业的情况，比如说 DeepSeek、Kimi、智普、千问这四个模型里面，从你的角度来看，你认为谁最可疑？首先啊，我就想访问你啊，为什么是这四个公司？
因为这个不就是大家传的比较多的，就这四家。首先，这个肯定没法评论啊，就到底谁在蒸馏，谁不在蒸馏。其实我们可以看，就美国这些公司，他们是在点名谁吗？Anthropic二月的时候，他是点名了三个公司。是 DeepSeek、Kimi 和 MiniMax，然后六月的时候他又点名了一家公司是阿里的千问啊。其实反而智谱是没有谁说就没有，没有美国没公开来说，对对对，就没有美国公司说智谱呃在蒸馏或者疑似蒸馏。
然后我刚开始说 DeepSeek 有这种就疑似蒸馏的行为啊，嗯。对，所以这只是公开信息分享一下。嗯嗯，那你怎么看？比如千问前一段时间，就是阿里被呃 Anthropic 点名以后，整个集团都开始禁用 Claude。因为六月的时候，像 Anthropic 它应该是给美国的国会有一个信，里面就提到了千问疑似吧，跟他进行了很多交互，是有两千八百八十万次。
而且当时 Anthropic 说的，这是有史以来发现的规模最大的蒸馏攻击。我觉得这两个事儿可能没有直接的必然的联系。嗯，首先它可能是一个合规的表态吧，你本来中国的用户理论上就不能用 cloud 的模型，嗯。然后另外，我觉得他也会要考虑自己的数据安全，也许他不希望让呃内部的很多对 AI 的使用就是通过这个模型，嗯，对吧？
他可能想让他们用自己的模型。这我觉得它确实不一定和蒸馏有关，但是它。也是在中美模型竞争的这个大语境里啊，嗯，如果中国所有头部模型都不允许蒸馏了，你觉得现在格局会发生什么样的变化？你如果让所有人都不蒸馏，那所有人其实就在这一点上都是一样的，对，那就还是看你别的能力边，不好判断。我感觉可能没有什么变化吧，不会有变化，因为你还是得看你别的能力。
那你的意思就是说，Kimi还是SOTA，质谱还是能领先，C的还是落后。你看你这个，你这个又又你又预设了其他人都在蒸馏，而字节没有蒸馏，对吧？然后如果所有人都不蒸馏，字节是不是看起来就跟大家差不多了啊？是，这我真真的没法判断啊。嗯，而且这个假设肯定也很难实现了。对，那我们其实有什么迹象可以看出一个模型是不是蒸馏的嘛？
比如说模型有的时候经常会说，啊，比如说一个非 GPT 的模型，它在回答的时候有的时候会说自己是 GPT，然后或者是说我是 OpenAI
训练的，那有的人就会把它来当成蒸馏的证据，你觉得这个靠谱吗？这个肯定是不靠谱的呀！就你直接问一个模型A你是谁，他说是B的话，这不能证明A蒸馏了B。嗯，其实二四年十一月的时候，就有人做过这种研究，大概他们当时是测了二十七个模型，有中国的也有国外的，他设计了一个七十七个问题。
这个研究就是在研究模型的身份混淆的问题，这也会有出现，比如说GPT四会说自己是GPT三，然后Gemini Pro会说自己是百度文心，嗯。字节系的会说自己是 GPT，对吧？但这个论文的结论是说，你仅凭他们身份混淆，其实很难判断谁使用了谁的训练数据，更不能说明蒸馏。更合适的方式可能是你去看他们的输出分布是否接近，就还是看它整个行为是否接近。
你的意思，比如说他说话的方式、他的输出的格式、拒绝回答的方式，或者是代码的风格。对，但我觉得这个需要很大的量，对吧？嗯，你肯定不是你问他一两次，然后你觉得很像他，你就能证明什么的。嗯，然后另一方面就是你说你要去判断一个模型是否蒸馏的原因是什么？对，可能以提这个问题，可能先入为主有一个印象吧，可能会觉得说蒸馏是不是一件不好的事情。
对吧？如果作为用户来说的话，这肯定不影响你使用啊。但确实可能，就假如说你是个投资人，嗯，或者说你是一个呃要买二级市场股票的人，你是一个想找工作，我在这几个公司里选一个，那可能取决于你的技术判断吧。就你认为蒸馏这个事儿是长期来说对一个模型研发团队是不是一件好事儿？是。然后你去看它蒸馏论文，这个我觉得就对你比较有价值啊。
对。那我们说回蒸馏的方式吧，你觉得蒸馏？真正困难的地方在哪里？比如说，你是真正的拿到了这个几百万条的 Claude 回答比较难，还是说我应该知道怎么去向 Claude 提问比较难？如果我们大家所有公司都可以狠狠的蒸馏，那蒸馏的核心竞争力是什么？我觉得可能很难回答哪个部分更难，可能每个公司不一样，看你自己的薄弱环节是什么。
就我可以讲一下我知道的，蒸馏比较有难度的一些环节。这个也是在文章里有展开的，一个就是在最开始嘛，你怎么获得稳定高频的去访问这些模型的账号，然后包括你怎么去做用户运营，就用户他可能是帮你提供一些真实的高质量的数据的，用户提供数据。对，因为你有些真实数据是从用户数据那筛的。嗯，你是说用户的提问吗？提问，对，嗯，真实的提问可能只是一个种子，然后你可以围绕它再去做扩增和改写。
有一种行业里会有从业者提及的做法吧，就是你建很多中转站，然后你再让一些人来通过这个中转站去用领先的GPT或者Cloud的模型，然后最好这些用户。是真的能提出这种比较有质量的问题的用户，而且他们真的有这个真实的需求，比如说。他还是可能是一个高校里的理工科的学生，或者是一个研究者，或者是一个高级程序员和开发者。
这其实是一个运营的工作啊，它也有技术的部分啊。当然，中转站你不用自己建啊，也许你也可以去找一个就比较稳定的第三方，嗯，包括这个过程中间你也要。防止自己被坑嘛？假如说你和一个三方中转站合作，对吧？那人家也可以在领先的模型中间掺一些，就是可能你你不想用的模型。对，我知道有某一家模型就是用中转站，结果发现它其实蒸出来的是自己的，就自己在蒸自己。
对，OK，好吧，嗯，对。第二个整体来说，我觉得就是一套数据管线吧，就包括你怎么去构造题目，其实也是一个构造数据的过程。然后你如果说你有很多这种高质量的用户在真实的任务、真实的场景下有很多这种真实的提问，你从里面肯定是要筛选的，对吧？那你怎么筛选、过滤、去重这些真实的数据？然后你怎么进一步用模型去扩增和改写这些数据？
中间还有涉及到纠错，以及整个就是这个数据的形式和配比。这套数据管线，我觉得是会有一些难度，或者说至少它是有经验know how在里面的，以及你整个。这个系统它是否，比如说成本比较低了，然后比较稳定了，这个也会影响你的大规模这种操作的时候的效果和效率嘛？嗯，所以整体来说，它是一个比较复杂的系统工程。这个回到你前面说，它是不是抄作业嘛？
对。就如果你非要说它是抄作业的话，那就是一个非常复杂的，就抄的那过程非常复杂，嗯，本质上就已经不是抄了，不是你一笔一画你对着人家写一遍就对。我理解了啊，大概就是这么实现的吧。所以一家公司如果他真的想隐藏自己这种蒸馏的行为，你会觉得最常见的方法是什么？他想向谁隐藏？他是想对就是 Anthropic Open AI。
哦，OK，那我不知道呀。嗯嗯嗯嗯。但如果他不用 API，而是直接下载一个 Open Weight Frontier 的这个模型，然后在自己的机房生成几亿条数据，外部是不是几乎是没有办法去发现的？你就说他去蒸馏一个开源模型，就假如说一个开源模型变得很强了，对吧？其实最近黄仁勋在有一个采访里面，就七月二十几号的一个采访里。
他也被问了这个问题。现在的很强的开源模型是很大的，比如说 K 三是接近二点八，对，接近三 T 嘛。然后像 V 四也是一点六 T。就首先就是你部署一个这种这么大的开源模型。它也需要挺多算力的，嗯，然后你如果部署完之后，你还持续的用它在跑各种数据，你的电费应该也挺高。就总之就是它会比较容易被监测到。就如果说政府或者说其他人认为这是一种隐患的话啊，可能政府比较好监测到吧。
嗯嗯嗯。那如果我一家公司，那同时像 cloud。GPT Gemini，甚至是 DeepSeek，然后千问，我每一个模型，我拿一点点数据来，然后再让自己的模型去筛选、去重写，那我是不是就很难看出我是某一个老师的痕迹？嗯，有可能，但是这个并不能像闭源的厂商隐藏你的争夺行为，对吧？因为只要你有疑似。就比如说大规模高频的去使用它的API，就有类似对对对，就你有类似这种异常行为，其实对方就有可能能看见嘛。
它其实不是从结果来发现。而是从这个过程中发现。其实那个 Anthropic
最近他他有说嘛，他说他们就是搞了一些更强的反制措施。他说他已经建立了识别蒸馏流量的分类器和行为指纹系统。它可以发现跨账号协同、重复提问和套取思维链的行为，所以它不是等其他模型争了它之后，它从你的表现来看的。但是，但我觉得这是一部分啊，就是过程中它也能看到，以及他们这次还讲他们会加强对教育啊、研究还有创业公司的这些账号的身份认证。
这个我刚才说的就是你运营的过程中间，比如说你找一些高校学生来用。其实它也是相呼应的，嗯嗯。然后你比较关心这个问题，是因为你比较关心怎么藏这个事儿，是吗？是。你觉得藏了之后，然后它的结果是什么了？我觉得很直接的一个结果，比如说这样举例，我不知道合不合适啊。比如说千问也好，Kimi也好，他们现在是没有在美国的实体清单上面的。
那，但我首先我没有说他们蒸馏了哈。假如说我我是Kimi，或者说我是千问，我想去做蒸馏这件事情。我又不想被上美国实体清单，我不想被 Open，就你想知道这是否可能对吧？对，哦，那我觉得这可能也算是蒸馏的另一种代价吧。嗯，就你确实会有一些合规的隐患，嗯，而且这个叫什么？要想人不知，除非己莫为，对吧？你总是有会有一些痕迹的啊。
所以其实蒸馏本身是会受到一些约束的，它也不可能不可能无限的这么大规模的扩展，包括大家也会考虑成本啊。那我们说说这个蒸馏的好处吧。就是我们刚刚也提到嘛，学生能不能超过老师？嗯，你觉得呢？其实我刚才说了呀，我觉得技术上是有可能的。嗯，或者至少说我接触的从业者认为技术上是有可能。它有几种可能方法，比如说你刚才提到的，我向不同的老师去学习多教师蒸馏。
其实现在在后训练去合并不同方向的专家的能力的时候，就是会用到这种多教师的蒸馏。那多教师的蒸馏这个思路是否也可以用来让模型变强？我这纯粹就是一个拍脑袋的技术推想啊，但也许会有人去试这个方向。嗯，包括之前有一些研究，就这个文章里有写啊，其实你在一些比较特定的任务上，你是有可能让一个学生模型就在那个具体任务上去超过教师模型的。
当然，这不一定代表这个学生模型整体上就比这个教师模型，比如它泛化性、通用性，然后各方面的能力都更强。所以我觉得它是一个。一个开放式的可以去被研究的问题，嗯，就你说学生模型能否超越教师模型啊？嗯，其他的好处比较明显嘛，好处就是一个你可以相对低成本、确定性高的去接近更强。性能的模型的方法啊，那超越老师意不意味着它这个模型就是个
frontier 的模型，就是一个最强的，它可以是最强的模型，但它不一定是最创新的模型，是吗？
你就说靠蒸馏能不能变成世界第一，对吧？或者说世界第一的标准是什么？我觉得我们先不用说创新不创新啊，世界第一的标准那就是按照现在的比如说各种对智能的评测表现，它对它表现最好嘛，其实就是回到我刚才说那个问题嘛。那如果那你已经学了最好的教师模型，你还超过了他，那你是有可能变成世界第一。嗯，我觉得这是个技术上的开放的问题啊。
但是你能不能持续是这个第一，那是确实跟你的创新能力有关。嗯嗯，其实现在就是各领风骚几个月嘛。对，嗯，而且其实你可以观察到一个现象啊，就像Anthropic这个公司，它至少今年上半年有几个月，它还是持续的领先了。它是最近这段时间，因为有很多新的模型在密集的发布，包括呃，K三对，包括Grok，Grok四点六对，昨天也是刚刚发了啊。
所以就最近这一短期的记忆里面，我觉得大家会。会这种感觉更急迫吧？就是看起来开源已经非常接近闭源，嗯，但首先它现在还没有接近。其次，其实，在如果你拉到半年的维度，那中间有我觉得有几个月的时间，Anthropic 还是领先的，Anthropic 和 OpenAI。所以可能现在这个阶段过了之后，也许对方又会，我就指最强的闭源模型的公司，他们可能又会跳一步啊，嗯，然后其他公司赶上，然后他们又会跳一步。
就我们现在看到的实际情况，可能是你通过中游的方式，你暂时是没有办法超过老师的。但换个角度来想吧，对于所有商业公司来说。可能现在有了蒸馏这样的方式，你的后发者反而其实是有优势的嘛？你可以用更新的这种数据、更强的模型来蒸馏，获得更好的数据。然后你对于领先者的这个差距其实是逐渐缩小的，可能也就短短的几个月，甚至可能时间更短。
那听起来其实是合理的，对吧？你就说对他们有什么问题，对吧？对这些开源公司，对，如果不超越这个现状，是否也可以接受？是对，我觉得这个就是取决于大家怎么去想更强的这个AGI之后会怎么到来。就比如说有一种假设是这样的啊，像OpenAI和Anthropic现在都。讲很多什么自进化的能力，那有可能你自进化到了一定程度之后，人在里面的作用会变小嘛。
然后如果你用更多AI来去优化AI，其实你的速度是会非常快，你自动化程度很高，那可能它的加速度会越来越大，那可能会把后面的人甩得更远，就是其中一种假设。那在这种假设里面，你率先达到某一种状态还是很重要的。就也许你今天看每一次Anthropic和Open I直比后面的模型领先几个月或者几周吧。那也许再过一段时间，他们到了另一个状态之后。
这个时间差就没有这么容易缩短了，但这只是一种假设，所以这个东西我觉得也不能满足于说我们现在因为有这种方式，我跟他跟得很紧张就OK了。嗯嗯，当然，我觉得大家非常依赖于蒸馏，可能也只是阶段性的状态，它也只是一种方法嘛。然后你其实可以组合很多方法嘛。那我觉得接下来我们可以聊一个话题啊，就是站在普通人的视角，对于蒸馏是有非常多的印象，或者是不管是刻板印象也好，或者说很热门的讨论也好，比如很多人就会觉得蒸馏是一个带有原罪的行为。
为什么会原罪是指原罪是可能就是我们刚刚讲的，就是他用了别人的数据，用了别人的数据，抄作业等等等等。但他其实我理解，我们刚刚聊下来，他就是在一个灰色地带，对吧？我觉得原罪这个词儿肯定是有点严重了。嗯。对，我觉得它是个灰色地带吧。它肯定是违反了那些闭源模型公司 OpenAI、Zephyr 的用户协议的。
嗯，但是违反用户协议。不一定构成法律上的侵权，这个要看其他的法律规定。另外就是，其实我最开始也说了，我觉得他们的用户协议本身也就限制的很宽泛啊。你觉得？那我们现在来讨论蒸馏这件事情，你个人是觉得我们应该讨论，比如说能不能蒸，还是说什么样的蒸馏方式是可以被接受的？你会有一条红线吗？我觉得就是有一些明显是违反现在就全球比较通行的法律法规做法，肯定是不太能被接受的。
比如说，你用一些黑客攻击的方式，你直接侵入。其他公司或者实体的系统，你通过黑客的方式去破解思维链什么的，这种是不太能被接受的。然后你说到就是怎么去考虑蒸馏这个问题，其实我觉得大部分做模型的人和这些模型公司的人，他肯定不会就是单独的去考虑蒸馏这个问题。他们考虑的问题是我怎么用各种方法去让模型变得更好，以及我构建更长期的能持续做出更好的模型的能力。
他们应该会整体的去考虑这个问题，然后蒸馏是其中的一种可以用的方法。你用到什么程度？呃，你怎么去用？因为蒸馏有一些不同的操作方式，包括你也可以选择不用，都是不同的选择，对吧？你可以想象它会有一个，比如说一个特别大的控制板上面，其实有很多东西都是可以调整。那蒸馏只是其中的一个旋钮，嗯，我觉得他们会从这个角度去考虑吧。
另一个就是，那我们看到 OpenAI 和 Anthropic
他们在做预训练的时候，也会弄大量的数据，从实体书来也好，从盗版书网站来也好，或者是从各种各样的视频网站扒下来也好，去搞这各种爬虫也好，他们这种行为跟今天我们所讲的蒸馏有本质的区别吗？对，我觉得这涉及到现在讨论中的一种常见的对话展开方式，是就是比如说美国公司说中国公司蒸馏，对，然后中国公司就会说双标，对，会说你双标，或者说哎，那你之前也是去用了很多这种可能也没有授权你可以来做模型训练的数据，甚至有的数据他根本都没买。
对吧？你比如说，中国公司去用这些账号，那还是付了钱的。那个 Anthropic，它最近有一个十五亿美元的集体诉讼的和解。那个具体那个案情就是，当年它是在一些盗版图书网站下了很多书的。这个过程，它其实就直接它就没有给这些书付费。然后是有很多美国的作家集体诉讼告了他这个事情，就目前已经达成和解了。嗯，就大家会去比较这两种行为吗？
我觉得整体上来说，那肯定是双标的。嗯，只不过这两种行为它也不完全一样啊。怎么不安全呢？首先，他的侵权行为我觉得是不一样的。比如说 Anthropic 那种，我直接就搞盗版书，对，那肯定是侵权的。对，你就本来你没付钱买书啊，你就侵权。你就先不说这个，我买了之后是否来训模型啊？嗯，那买了之后来训模型是否侵权？
这我不知道啊。但目前我们看美国的这个加州的法院判这个是不侵权的。就是他有一个判例是认为这样，就只要你付了钱就不侵权，是吗？是，嗯，但只是州的这个法院怎么判的？因为美国是案例法，就美国其实他后面的类似的案件，他会去看前面的一些情况是怎么判的。哎，这个倒是有点价值的回旋镖啊。嗯，那我在想。之后，如果说这种方式，加州的法院认为它不构成侵权，对，那其他的公司用
Anthropic 的产出再来提升自己的模型，嗯，这是否构成侵权？
这是个很有意思的话题啊，这个案例挺有意思的。是，那我们其实最后可以做一个预测。就是你觉得三年以后蒸馏是会像爬虫一样的普遍，几乎无法阻止，还是说可能美国的几家 frontier lab 最终能够通过所谓的账号体系也好，模型设计也好，甚至是法律手段也好，把它给最终给禁止掉呢？首先，我觉得这个行业可能没法看三年之后的，这个太久了，有三十六个月啊，感觉AI已经变了，对对对，不不照AI已经怎样了啊？
嗯，然后你说，就最终这个蒸馏会不会被大幅的压下来？嗯，我觉得这个博弈肯定是会进行的。其实就是你有一些手段，然后我再来反制你的手段，我可能又会找一些新的手段。所以蒸馏本身它有很多现实约束。它也不太可能肆无忌惮的蔓延，嗯，大家也会考虑成本的，你这都要花钱呢。如果蒸馏越来越容易，那今天就是投入几百亿美元训练这种 frontier model 的商业模式，会不会有根本性的变化？
因为今天其实已经看到大家对于所谓的斩杀线也讨论的挺热的嘛。其实之前一百七十七期聊 K 三的那期也讨论了这个话题。首先短期内的市场预期是 Anthropic 和 OpenAI 的估值。会受一些影响，甚至有人认为这会冲击他们IPO的进程。但我觉得前提是我们现在只看到此时此刻的切面，比如说马斯克。昨天就是
Grok 四点六发了之后，他在回复另一个公司的一条推文的时候说，Grok 四点七会超过现在的所有的模型，但他也补了一句说，Anthropic 的下一个模型可能会非常强，就有可能比如说过了一个月，Anthropic 又发了一个很强的东西，那我觉得大家的预期又会改变啊。
嗯，闭源模型公司可能它有一些后手是没有展示的。所以我觉得还比较难说是否就真的冲击了投入很多钱去开发一个非常领先的模型的这个操作，嗯，但是有一件事儿我觉得也比较明确啊，就是它是冲击了商业逻辑的。就是像 V 四，包括 Grok，其实也也是一个性价比很高的模型。然后有那张很著名的那个斩杀线的图嘛，就是在 V 四还有 Grok 四点六的下方和右边，就那个区域里的模型都是被斩杀了。
就现在确实有一个问题，我觉得就是说，可能对很多任务来说，目前的这一批最强的模型已经很够用了。比如说，我最近见一个呃应用公司的创始人，就他们也是做那种偏生产力的应用。他跟我说，可能用户的十个任务里面，八个都能被 DeepSeek V 四 Flash 解决啊，就当时 Pro 还没有正式发。而且Flash就真的非常便宜，速度也比较快啊。
这个我觉得确实会改变很多，就是商业逻辑的事儿。就它至少会改变很多定价策略吧。而且这也涉及到一个更大的问题，就是说你的智能的供给和需求之间现在是什么关系？目前看起来，其实对很多人的。日常的使用来说，可能你的智能过了一个线之后，它确实就够用了。嗯嗯，我们上次其实讨论姚胜宇那个博客，后面也在讨论这个话题，就说你头顶之后，你再往白领这种市场去扩散的时候，对智能的需求并没有那么大。
我觉得准确表述是这样，是说对智能的需求的规模和它的节奏，就是它的速度，有没有那么快？其实打问号了。是是是。最近我然后见一个就平时交流比较多的投资人的朋友。那他也是在想这个事情，就他想的问题就是，我们之前都说 coding 比视频生成大，万一错了了，那这个错了的可能性也是在于说，可能对很多白领的工作来说，就现在这模型真的已经够用了。
嗯，你搞更强的模型，这个叫什么？杀鸡焉用牛刀？对，可能你没有用武之地，你就屠龙刀。对我觉得这可能是比蒸馏更大的一个问题吧，就是你现在智能的供给和需求。接下来是一个怎么样的匹配？规模上、节奏上，其实我自己就是上次我们录那个啊姚胜宇那期的时候，我对这个问题啊，我当时是从个人感受上来说是相对悲观的，因为。
我那会儿其实除了用模型做偏 deep research 的工作，我别的工作做的比较少。嗯，但是后来一段时间，我用这个 ChatGPT CodeX，就它的工作 work 那个功能特别多，我感觉它确实能让我干很多以前干不了的事儿。嗯，所以那段时间我又会比较上头。当然，你冷却一段时间之后，你仔细想，你是不是每天都要那么高频的去手搓各种工具？
这个频率确实会下来一些。对，嗯，就你对更复杂任务的需求确实会下来。嗯。我所以我觉得，嗯，这是一个可能在蒸馏之外的很多人现在已经在想的问题吧。是。那我们今天其实讨论了非常多关于蒸馏的这个话题，蒸馏的历史，它可能不是一个非黑即白的一个概念，嗯，对吧？然后包括我们自己为什么不蒸馏，蒸馏的代价是什么？我们自己？
OK，对，不是我们自己哈，就是说错了，对。这一份就挺有节目效果。所以，我相信大家对于蒸馏会有一个初步的印象和认知吧。嗯，对，那今天节目就到这里。最后补充一点，就是因为我们收集的很多关于蒸馏的信息，我们并不是直接做这件事情的从业者，是，所以这个文章包括这个播客，我觉得也是更多一个抛砖引玉的作用。希望大家在评论区。
在留言区能分享更多你知道的关于蒸馏的一些方法，或者一些你的观察，或者你对这件事情的态度，我们也可以收集更多信息之后给出一个更完整的二点零版本。那感谢大家今天的收听，好，拜拜。本期节目就到这里，感谢收听。如果你对今天聊的话题有观察、好奇或疑问，欢迎在评论区分享想法，这也会成为我们节目的一部分，让整个讨论更完整。
你也可以把我们的节目分享给对这个话题感兴趣的朋友，推荐更多你想听的主题和嘉宾。你可以从小宇宙、苹果Podcast等渠道关注“晚点聊 Late Talk”。也欢迎关注我们的公众号晚点 late post，下期再见。