大家好,欢迎来到本期节目。今天我们要体验的是 Qwen 3.8 的超高思考模式,并展示所有提示词。我在这上面花费了超过两百万个令牌。我一直在尝试各种变体和不同的量化版本,比如 Q4、Q8、Q9 和 Q10。什么是 Q10?你们很快就会知道的。我们还尝试了思考循环,因为这个模型在被强力推动时喜欢陷入死循环,而我有一个解决方案来彻底阻止这种情况。
我还测试了不同的引擎,不仅仅是 inferenc 引擎。我们还查看了基础的 MLX VLM,看看它是否也有循环问题。剧透一下:确实有。我们还检查了不同的采样参数,比如温度 1 对比零。什么才是终极解决方案?我们这里有一些巨大的提示词。希望各位享受这段旅程。
先简单回顾一下背景,我从这张脸开始说起。我非常喜欢这个提示词:这是一个程序化生成的面部。“创建一个照片级逼真的实时渲染人类面孔,不使用任何现有资产。”所以它纯粹是在尝试看自己能否画出来。这里有 19,000 个令牌的细节描述,使用的是超高思考模式,没有启用循环检测等功能。
这个模型直接开箱即用地成功了。我们非常幸运,因为超高思考模式通常表现不稳定。这绝对是一次美丽的面部生成结果。不过如果我们想挑剔的话,在这个频道上我们肯定会挑刺:头发是怎么回事?显然它无法渲染好头发。耳朵有点乱,哦那是什么?它有黑眼圈了。
它以为自己知道我们在做什么。伙计们,请用疯狂的提示词让它冷静下来。你显然是在喂训练数据,让它们变得有点调皮捣蛋。但总体来说,这个 2700 万参数的模型生成了非常漂亮的结果。尝试了思考模式,我们运气不错。
我还在这里用 Q4 量化版本运行了一下。它实际上正在运行,已经处理了 61,000 个令牌,但有一个小陷阱。当它在结尾处进行整个思考循环时,大约在 50,000 个令牌之后,请看这里。让我再仔细检查一下几个有风险的 GLSL 细节。你可以看到它实际上在循环,重复了四次同样的内容。
我这里有一个叫做“扩展思考检测”的功能。如果你启用它,它会继续运行并统计每一次思考的次数。当检测到思维循环时,它会优雅地退出。它在那里就做到了这一点。现在这个生成过程正在运行中,我们稍后会展示结果,但我也有一个 Q10 量化版本。Q10 对比 Q9:在 Q10 中,我们最终生成了 140,000 个令牌。
这相当于在我的 Mac 上花费了大约两小时的生成时间。发生的情况是,首先我拥有了整个流程。这个模型也喜欢循环,所以我开启了完整的思考检测器,那个版本生成了 110,000 个令牌。包括所有思考内容,但当我第一次运行时出现了一个错误。看这里,错误 17:相同文本错误。
于是我说:“嘿,这是那个错误。”它给了我答案,然后我告诉它输出完整文件,因为我想看看当再次要求它输出整个文件时,是否会发生什么。它会忘记部分代码吗?它会回避某些内容吗?你们很快就会知道。
我们点击播放,这是它生成的结果。显然这里有一个 bug,脸上有些东西不对劲,但这是一个程序化生成的面部。所以我按住那个 R 键,它实际上正在这里实时重新创建面孔,使用了大量不同的种子。
它只是在制作这张脸。你可以改变皮肤颜色,可以调整光照效果。而且它有动画功能。你看到眉毛的动画了吗?眉毛一直在变化。它还有一些头发效果。所以我可能可以通过提示词来修复那张脸,但这是一次令人印象深刻的生成过程。
150,000 个令牌花得很值,或者说是 140,000 个令牌。我们很快就会回到 Q4 版本的话题,但我还想尝试一下思考限制功能。如果你用低强度思考模式运行它……哦,让我现在实际看看那个情况。当我在没有思考模式下运行时,实际上陷入了循环。
这个模型喜欢死循环。我觉得他们可能把它压缩得太厉害了,也许你需要用 BF16 精度或类似的格式来运行它。当你使用低强度思考模式时,出于某种原因,它只输出了一块蓝屏。所以你需要提示它说:“嘿,有个蓝屏,你能修复吗?”诸如此类的内容。
我想看看如果我们设置为最大思考模式并将令牌限制设为 10,000 会发生什么。在这里的设置中,你可以直接限制思考的令牌数。是的,实际上如果你想做最大强度思考,你需要大约 10,000 个令牌的空间。好的,让我们看看它会做什么。
它生成了大量代码,在大约 8,000 个令牌处,它说:“你知道什么吗?这是一个停止思考的好地方。”你甚至可以看到它考虑如何停止思考的次数。显然,这条灰线代表所有结束思维的地方,你可以数一数并找出它思考了多少次。
在大约 80,000 个令牌处,似乎是一个优雅结束的好位置。它停在了一个句子的底部之类的地方,而不是在中间强行打断所有内容并使其变得非常糟糕。我们可以看到这里它生成了 28,000 个令牌,而之前是 115,000 个。
不幸的是有一个运行时错误,但总体来看菜单界面看起来即将做出一些令人印象深刻的事情。所以确实存在一个小的运行时错误,于是我把那个运行时错误反馈回系统中。
[笑声] 它做了什么?太棒了!至少这次它有眼睛了。所以它将需要另一个提示词来修复细节。与此同时,Q4 版本刚刚完成运行。我们将看看 Q9 和 Q10 的表现如何。
我们非常幸运,Q4 版本生成了大约两万多令牌的优秀结果。在 Q10 中出现了运行时错误,我们必须修复它,并且需要花费 150,000 个令牌来完成。而在 Q4 中,我们刚刚完成了 67,000 个令牌的生成。
这里存在一个思考循环,我们不得不使用思维检测器来阻止它陷入死循环。当我们点击播放时,让我们看看它会生成什么。好吧,不幸的是它是一个运行时错误并且已经生成了代码。看这里:未声明的标识符。
它试图制作一个 GLSL 着色器但搞砸了。所以是的,你真的可能需要让这些模型在一个循环中运行,这样它就可以不断打印代码并自我纠正。因为错误率很高……或者有人想知道 Q9 和 Q10 之间有什么不同,诸如此类的问题。
在 Q4 版本中可以看到更多错误。问题在于当你生成更多的令牌时,……
出错的可能性更大,我来展示一下它的工作原理,顺便简单回顾一下。这个叫做熵,这里是令牌检查器。你可以看到这里用户输入的是“so”,模型有70%的概率输出“is”,但也有大约30%的概率输出“once”。如果你想要设置温度参数,它会随机化所选的令牌。
下一个词听起来像是“让我们构建面部几何体”,概率是47%对32%。所以它本可以选择不同的词来替代那个位置。这对于创意写作来说还不错,但在编写代码时情况就不太妙了。当它实际生成代码时,基本上100%只是在复述其训练数据中已有的内容。
有些情况下它并不完全确定要说什么,例如可能会说“letter”而不是“color”。量化在这里可能就会出问题。当模型被量化后,它可能会把“letter”变成排名第一的令牌,而将次优的“color”排第二,从而混淆两者。这就是你遇到这些微小运行时错误的原因,但总体上它只是在复述训练过的代码。
这让我怀疑这是一个基准测试模型,不过我并不抱怨,因为270亿参数已经非常惊人了。接下来我们想看看它如何影响整个思考循环的情况,我会用这个提示来展示。这是一个投石机装置,处于低强度思维模式下。我们正在制作这件中世纪的战争武器。这里有一个目标垫,我们点击开火按钮。
箭矢射向了错误的方向,尽管在低强度思维模式下它看起来依然美观。那么当我们开启超高强度思考模式时会怎样呢?这是我实现循环检测并使其支持推测性解码之前的状态。目前它仅对非推测性解码有效,如果你启用了推测性编码功能,就需要等待更新来修复并使其完全兼容。
系统生成了10万个令牌,我当时心想:“哇,它还需要另一轮生成。”于是我又进行了一次新的生成。直到20万个令牌之后我才意识到,它实际上陷入了循环状态。如果你查看这里的日志库并点击搜索功能,可以看到同样的思考被重复了21次,而且代码完全相同。
它确实陷入了思维循环中。所以我重新启用了循环检测器,结果只生成了2.3万个令牌——对吗?没错,仅产生了2.3万令牌。看看我们得到的质量吧!看这里、再看那里,你根本不需要消耗20万令牌,也不必让它陷入循环困境。
有些人喜欢稍微调高温度参数以便模型在卡住时选择不同的令牌,但这并不是必要的做法。使用思维循环检测器才是正确的方法。好让我们点击绘制按钮,箭头正在被拉弓瞄准。接着我们松开释放键——砰!箭矢飞上了天空。
现在它具备了一些物理特性,但它真的能改变实际行为吗?我将把张力设置为30%再次点击绘制。你看,箭矢高高飞入空中,这是一次出色的生成结果。接下来我把物理参数调到100%,让我们滚动一下画面……滚啊、滚啊——砰!
可惜游戏被做了手脚,你永远赢不了。如果非要挑剔的话:这里的山脉是怎么回事?几何形状的山峰……也许我们身处《刺客信条》世界,正在构建所见即所得的环境。现在我想看看当温度设为1时会发生什么变化。
我一直以零温度运行提示词,因为那才是真实质量所在——就像把模型当作数据库使用而非依赖模糊逻辑产生那种“哦,这是AI”的感觉。让我们把它纯粹当数据库来提取内容即可。当我以温度1运行时,看这个结果:它立刻陷入了疯狂循环状态。
我还没在Windows系统上测试过,打算先在Mac上检查一下情况……果然出现了异常循环。我开始思考究竟发生了什么问题,于是测试了不同的推理引擎来查明原因。这里展示的是视觉语言模型版本,同样出现了循环现象——只是不断重复“ground ground”。
我还尝试了Q10量化版本,增加了一些层数以提高保真度,想看看是否与量化有关。但即便在零温度下也能看到它进入思维循环的状态。在这种情境中你会遇到大量响应重复问题,而当温度设为1时情况更不明朗——我们需要找出具体原因。
不过无论如何只要将温度从1降低并启用思维循环检测功能就应该没问题了。下一个我想展示的提示是三维人体解剖结构图。在低强度思维模式下它实际生成了不错的效果:有人体模型、器官系统、皮肤层、骨骼框架循环系统和身体外壳,看起来相当惊人。
你能相信吗?它甚至知道心脏的位置所在!看这里、再看那里,这真的非常棒。那么当我们执行超高强度思考时会发生什么呢?从低强度的1.5万令牌跃升至6.7万令牌。这次生成过程中没有出现循环现象,只是单纯地超出了输出限制范围——没有任何异常状况发生。
或许只有复杂任务才会触发循环问题,但这次完全没有。这就是它的生成成果:看起来太棒了!这个用户界面让我感觉像是置身于《星际迷航》的传送器或某种未来扫描设备中。不过这里有个小bug:当我点击器官时它们会闪现然后消失不见。
让我们看看是否定位到了心脏位置……嗯挺接近的,但这次只生成了一个肺叶。在我看来语音识别方面存在一些问题:肋骨没有连接到颈椎骨,而颈椎也没有连接任何骨骼结构。我们可以进行X光透视查看整体状况……
用户界面非常优秀,但你需要后续提示词才能让它正常工作。实际上我们在其他生成过程中确实做过一些补充指令调整,稍后会详细介绍到这一点。你会发现它并没有你期望的那么聪明——毕竟只有270亿参数嘛,你还指望什么呢?我们期待的是《侠盗猎车手6》啊!
结果它做出来的却是《侠盗猎车手5》。
思考模式已设置为低档。我们在之前的视频里运行过这个,现在再跑一次做个回顾,这样就有了一个基准,用来对比超高思考模式的表现。这是那个《侠盗猎车手》的“丢失圣诞老人”版本,开场非常基础。屏幕上的角色有点卡顿,交通灯也在一顿一顿的,这里明显比较慢,代码优化得不好。罪犯们也一样没优化好。我们直接去街上吧。试着跑动看看能发生什么,WSD键用来移动,但左方向键往右走,右方向键却往左走。屏幕上有行人,控制有点坏了。那边有一辆车,这车是和另一辆一起生成的,无所谓了,我们进去吧按E键进入车辆。不幸的是,我们没有成功上车。
思考模式低档下这里有很多bug,还出现了一个运行时错误:空值不是对象,当前车辆速度。这不太好,更多的token反而带来更多问题。现在我们要用超高思考模式运行它。生成了10万个token,整整一小时的生成量被浪费了,因为它实际上陷入了思考循环。看那个,它循环了四次,所以大概产生了8万个token的真正思考,然后就卡住了。我们启用了思维检测器来优雅地跳出循环。这里生成了一个《侠盗猎车手》克隆版,我们点击播放。得到了一个浏览器版的GTA5演示,再次点击播放。我看到有一个运行时错误,真遗憾。让我们看看是什么情况:WebGL程序着色器出错了。这里有音乐了哦,现在速度快多了,也许是因为坏掉了才快?左方向键往右走,右方向键往左走,完美。
这里有辆车,除了场景有点暗之外一切都看起来不错。我尝试把错误反馈给它修复,但不幸的是它没能自我修正。于是我从头开始运行了Q10版本看看怎么回事,点击播放看这个表现如何。这个看起来稍微有点印象派风格,我们运气好用了不同的种子生成了略微不同的结果。如果你遇到提示词效果不佳的情况,只需在末尾加个空格就能得到不同结果,不需要调整温度参数。点击播放后看到一个家伙在跑动哦,他从头上发射子弹太酷了!进入车辆看啊车真的能跑了。这让我想起最近用Fable做的生成,那个AI感更强些。那里有人吗?有个家伙在那边让我们撞他吧可惜不让撞,那就撞上这辆车砰!碰撞时居然有真实爆炸效果太棒了。
令人惊讶的是这次没有运行时错误,我发誓上次运行时有个“更新过场动画”的错误。可能我之前操作失误漏掉了,当我尝试修复时它打印出了修正文件但实际没解决错误。这点需要注意:我花了10万个token却得到相同错误,你可能需要多次要求它执行同一操作。《荒野大镖客》在低思考模式下用了1.7万token,我们前几天见过这个。按ESC开始游戏需要纹理语音才能启动开场非常基础点击新游戏后没反应但出现了悬浮头部是的很棒他还有小手动画来开枪这确实很美唯一缺少的是坏人来围攻你以便攻击只需再改一两个提示词就行。
启用超高思考模式后用了7万token但我发现它又在循环于是取消生成并启用了思维检测器。使用思维检测后我们获得了17.4万token的上下文窗口,因为第一次运行时在6.5万token处出现小错误日志它不知道那是什么但说是拼写错误。即使我们在贪心解码温度为零的情况下也会犯拼写错误。看这个我们到了埃及所有金字塔都在那里《红色尘埃救赎》很有创意的标题我喜欢新游戏有了不错的开场场景不再是黑屏虽然还有纹理语音但现在有漂亮的风景介绍“你来这里是为了消失”看那个我有个乐高风格的小人拿着小手枪哦看看那后坐力太棒了现在可以装弹了小镇看起来很美设定在中西部埃及[笑声]这种情况挺有意思这里有瓶子我们能射击吗哦我们可以打碎瓶子是的这绝对是次粉碎性的生成缺少点提示词因为我没看到坏人也没马通常这里可以骑马那是匹马吗不不是确实少了些生气但绝对具备打造惊人《红色尘埃救赎》的骨架到处是金字塔和仙人掌这就是当年的中西部埃及。
接下来制作最终幻想7在低思考模式下用了2.8万token当再次使用超高思考模式时又出现循环这是我天真不知情的时期在意识到循环前生成了18.6万token我是个傻瓜所以那次没成功。我改用思维检测重新制作最终获得14.8万token的上下文窗口因为首次在Q9时仍有错误。即使在Q4运行时出错Q9也会犯错只是少一些但如果你把它放进循环并说“持续修复直到错误消失”应该就没问题。我们遇到了一些意外错误你看不到主角也无法跳过过场动画
它声称已经修复了所有这些问题。那么,让我们看看它是否真的支持多达 160,000 个令牌。那是什么?出现了一个错误。为什么?为什么?奎尼,你为什么撒谎?你为什么要骗人?这简直糟糕透顶。
好吧,让我们看看它原本的样子。结果代码变得更糟了。所以,不如直接看我之前做的另一个版本吧。这是《最终幻想7》。现在看起来 >> 要么调用已经
变暗了。>> 也许这只是开场部分。>> 黑暗被遏制住了,但光线投下了长长的影子。>> 哦,看那个。快进一下。
请不要这样做。>> 好了。《最终幻想7》。那里有精彩的故事线。所以它把我生成在一栋建筑里,正如你所见,我是隐形的。让我们和露娜谈谈吧。真的感受到了地面的震动结尾。>> 地面在摇晃。
现在我们进入了一场战斗。我们处于一个战斗场景中,但它仍然认为我需要和露娜以及坏蛋们交谈。那里有一个大个子和一个小子。这就是我们能走到的极限了,因为出现了错误。
正如你所见,存在运行时错误,我在48小时内没能修复它们,因为我运行了大量、大量大量的测试。但你可以有个大概的了解。150,000个令牌仍然会导致错误。所以要在循环中花费几天时间,希望最终能得到一个好的结果。
这就是3D平台跳跃游戏。所以,这是6,000个令牌。就这些吗?我们将思考模式设置为低档。所以,我们正在制作《超级马里奥》,尽管这次生成很基础,但它实际上比我之前用谷歌Gemini Pro生成的版本要好。
在澳大利亚使用谷歌Gemini Pro,他们每月收取170美元的费用来使用该模型。所以,它能做到的事情令人惊叹,但在超高思考模式下,它又能做到什么程度呢?嗯,我们有点在想,哦,6,000个令牌,他真的能做出更好的东西吗?
所以,当你设置为超高思考模式时,10,000个令牌、200,000个令牌,我是个傻瓜。[笑声] 这是在我实际检查它进行的思考次数之前的事。所以我花了20,000个令牌,结果它就卡在思考循环里了。
所以,你无法通过增加令牌数量来摆脱这些思考循环。你必须为它做稍微智能一点的事情。所以,我再次运行了测试,这次启用了思考检测器,它确实出现了一个运行时错误。
所以只需看看这里的这个错误。Three buffer geometry compute bounding sphere(三维缓冲几何体计算包围球)。这就是我第一次运行时它出现的运行时错误。当时游戏仍然可以玩,只是有这个错误而已。
于是它说:“是的,是的,兄弟。我完全知道如何修复这个错误。”但请记住是 three buffer geometry compute bounding sphere(三维缓冲几何体计算包围球)。所以我们将播放它生成的新版本。
总的来说,我们花了50,000个令牌,也就是51,000个令牌。这与我之前花的200,000个令牌相比不算什么,但这非常棒。看看这个。我们飞在空中了,所以那里有一点小bug。
但是哦,在我们玩之前,那是什么?它有运行时错误,并且显示的是 three buffer geometry compute bounding sphere(三维缓冲几何体计算包围球)。所以它对我撒谎了。
它说修复了,但显然并没有。或者也许它修复了一个问题,但又有一百万个新问题出现。不过尽管如此,这仍然不错。显然我们在飞。是的。让我们点击播放。
哦,做到了。哦,拜托。速通这个小家伙吧。来吧,加速。哦,那个……哦,我们做到了。我们把它打爆了。所以,这绝对是一次美丽的生成过程。
你知道,令人惊叹的一点是,即使它没能修复它声称能修复的错误,你可能只需要拼命地向其中提示。这是一个270亿参数的模型,而我们却指望它创造奇迹。
我的意思是,我只把它当作一个目录、一个带有惊人用户界面的数据库目录,你可以用它来启动你的项目。也许它不是那个能完成你项目的模型。
也许是用来启动你的项目、想出一些惊人用户界面的模型,然后使用不同的模型来修复它。它在MTP(多令牌预测)方面通常很快。我的意思是,使用MTP时每秒27个令牌,而且我是在调试模式下运行的,所以预期还能再增加每秒5个令牌。
最后,让我们跳进去看看一点《Outrun》(山脊赛车)的运行情况。所以之前用低思考模式时,它有点损坏但仍然不错。我们得到了这种有点像《Wipeout》(极速赛车)3D风格的悬浮情况,用于《Outrun》。
它确实在空中漂浮。所以这是飞行汽车。这就是未来,而且还不错,但它缺少很多特效,那是低思考模式的结果。它真的没有填充那些内容。
所以用超高思考模式时,我们生成了17,000个令牌。就这些吗?不,它生成的是124,000个令牌,这是因为之前有个错误,我说嘿修复错误并输出文件。
现在我可以对这些更改更有针对性一些。所以如果我在启用工具这里和文件工具,我可以让它只将结果输出到文件中,然后只需编辑该文件,这样它就会进行最小化的更改。
但我没想这么做,因为我实际上想要测试的是:它是否具有保真度、长上下文广度或那种“大海捞针”的能力,以某种方式表示代码使其正常工作?还是它会变得一团糟?
这就是为什么我想要测试它。所以这就是我花费这些令牌的原因。总的来说,我们花了147,000个令牌。它说已经修复了错误。让我们看看是否真的修复了。
插入硬币。我没看到这里有错误。但它完全……那是什么?这里发生了什么?我很害怕。我们……这变成了《Wipeout》(极速赛车)。我想那辆车……
这也太疯狂了。它就像是一个在澳大利亚内陆寻找袋鼠的司机。它在狩猎。车上有一个大天线。而且我们在旋转汽车。它完全失控了。一切都疯了。
我们仍然有金字塔。这个Qwen 3.6热爱埃及。埃及第一。也许它只是在弥补之前与阿根廷发生的世界杯丑闻吧。但是的,这到底是什么?这是什么情况?这也太疯狂了。
告诉我你们在用这个模型做什么,因为那真是疯了。而且仍然有运行时错误。看看那个。“提供的值是非有限的”。第250行。所以在第250行,它仍然会出现这些错误。
所以这绝对是一个适合原型制作的优秀模型,也许可以用惊人的用户界面来启动你的项目。如果它有效,那就行了。但要将其全部整合起来,也许它不是那个合适的模型。
但它有270亿参数(注:原文此处口误为million,结合上下文应为billion)。你们对此有什么期望?所以请告诉我你们对Qwen 3.8的看法。
太棒了,超级本地化,惊人的模型。希望你们觉得这个视频有用并享受了节目。顺便说一下,这是48小时以上的不间断生成过程,你们知道吗。
我希望你们能欣赏这一点。我只是疯狂地从不同角度攻击这个模型,试图弄清楚到底发生了什么。而且我们甚至解决了思考问题(hopefully)。
另外,这是我们第二次录制这个视频。第一次我录的时候,猜猜怎么了?我的SD卡坏了。哦,我又得重新录制一遍了。但它……
好的,因为我设法又生成了一些内容。是的,你看它还在持续运行中,目前仍在处理那个任务。具体来说,这是一张超写实风格的人脸渲染图,现在还在生成过程中。我原本打算向大家展示 Q8 版本与 Q4、Q10 版本的对比效果,但我们现在已经没有时间了。