这创意写作能力简直绝了。我原本想好好评价一下,但算了,忘掉代码性能吧,那根本不重要。这东西太有趣了。今天我们要评测的是 Poolside AI 发布的 Laguna S2.1,这个模型之所以令人兴奋,原因有很多。首先,它是一个拥有 1180 亿参数的混合专家(MoE)模型,其中活跃参数为 80 亿。这意味着它非常适合像 DJX Spark 这样的设备,尽管这台机器现在积满了灰尘,我得想办法清理一下。它也适合其他拥有 128GB 统一内存的系统,比如 Stricks Halo 或配备该规格的 MacBook Pro。因此,对于本地机器来说,这个规模堪称完美。

此外,在 120B 左右的参数范围内,我们很少见到开源模型。看到另一个这样的发布令人兴奋,因为它让普通人有机会在家运行这种开放权重的模型,这非常酷。而且该模型源自美国,这在开源权重领域并不多见,这是一个独立的话题,但看到来自不同国家和地区的模型发布总是令人振奋。接下来,我们将快速浏览该模型的亮点,然后进行一些轻松有趣的测试。请订阅频道以助我获得 10 万粉丝奖牌,我们正接近目标,令人兴奋。

让我们先看看这些基准测试分数,它们非常 impressive,考虑到该模型的规模更是如此。最近发布的另一个开源模型是 Inkling,拥有约 1 万亿参数和 410 亿活跃参数。在某些基准测试中,Laguna S2.1 的表现几乎与 Inkling 相当。虽然我认为 Inkling 并非专为原始编码任务设计,但这依然令人兴奋。考虑到与之并列的其他模型,SWE-bench 分数相当惊人。虽然未达到那些顶级模型的级别,但能与之接近表明这是一个非常有前景的模型,尤其是因为它可以在本地运行。

在 SWE-bench 基准测试页面下方有更多详细信息。如果它真的优于 Sonnet 4.6,那它将真正成为一个“家庭版 Sonnet”,这将非常棒。我们还看到了一些预期的基准图表和其他信息,但我有几件事想提一下。首先是它是开源的。向上滚动可以看到“Poolside Chat”链接,无需注册即可使用聊天功能,我很喜欢这个名字,并让它直接在浏览器中运行操作系统。

此外还有模型权重的链接,点击即可下载并使用。提供了多种量化版本,这很棒。接下来我要谈谈模型的一些关键点。首先,它拥有 100 万 token 的上下文窗口,这非常优秀。虽然我不确定其在长序列上的表现如何,但有人专门测试这些指标。它还拥有自定义许可证“Open MDW 1.1”,允许自由用于商业和非商业用途,虽然不如 Apache 2.0 完美,但这算是合理的中间地带。

它原生支持推理功能,并提供推测解码模型以加快生成速度,这在 DJX Spark 上会让体验更加流畅。需要注意的是,它仅支持文本到文本(Text-to-Text),并非多模态模型,但这我不介意,因为我主要关注编码任务。另外,我目前不会在本地运行它,因为发布初期存在循环输出的问题。虽然这并非模型本身的问题,而是配置所致,且已有修复补丁,但为了排除配置错误并测试其最大性能。

我将通过 Open Router 和 Poolside Chat 网站托管的原生接口进行测试,以公平地评估其最大性能。幸好我没在几天前测试,否则可能会因为循环问题而误以为模型很糟糕。现在,我们开始传统的浏览器操作系统测试 v2.5 版本。模型展示了思维链过程,我们可以展开查看其思考内容。速度看起来不错,但由他人托管时讨论速度意义不大,尤其是当它可以在本地统一内存系统上运行时。

现在模型已完成思考并正在构建浏览器操作系统,界面显示了已使用的 token 数量。就这样,它在工件窗口中打开了。这是我第一次通过他们的网页聊天界面测试,起初不确定效果如何。我们看到了初步结果。我将下载它并在 Chrome 中查看以获得更原生的体验。我不确定为什么刚才觉得不好笑,但我们发现没有工作时钟,这有点令人担忧,可能暗示着初始错误。

无论如何,我们还是要继续测试一下。有没有右键菜单?好的,没有。不过没关系。毕竟我们要记住这不一定是一个大型模型,其激活参数量相当小。开始吧。很好,游戏列表出来了。好的,这是一个神经网络可视化工具,然后是设置选项。我注意到右下角我的头像位置附近有几个图标,一个是大脑形状的图标,另一个是设置。好吧,我不知道刚才做了什么操作,但它打开了计算器,而且桌面图标在打开时似乎在闪烁跳动。这很有趣。好吧,我现在明白是怎么回事了。原来这些图标的可点击范围实际上延伸到了它们图像所暗示的范围之外。所以,那个位置也会打开文本编辑器。这倒不是什么大问题。不过我想从左边开始试起。那就试试《GTA城市驾驶》吧。老实说,我并没有指望这里能出现一个真正可玩的游戏结果。它确实打开了,除了没有实际游戏内容外一切看起来都正常。让我们试试《Racing X》吧。好的,看来这里可能有一些错误信息可以发送出去,看看模型能否修复这些问题。很有趣的是文件管理器也具有一定的深度功能,这也是我没预料到的。我们还可以创建新文件夹。好的,这个功能在这里创建了新的文件夹。没问题。所以它以某种方式实现了它,只是作为一个弹出通知显示出来。让我们试试计算器。54乘以362。好的,等号按钮……[轻笑] 我要说它比GPT OSS120B要好得多。不过,如果我们需要一个比较的参考点,因为在这个规模的模型中这样的对比很少见。所以这比那个要好得多。让我们检查一下神经网络可视化工具。天哪?这无疑是它的特色功能,我以前从未见过如此元(meta)的功能。随机输入。作为特色功能来说非常有趣。我一生中从未见过这种情况。所以测试完全由开发者注入此类有趣功能的模型很有趣。最后,我们确实有设置选项。让我们看看能否更改背景。非常好。有一些漂亮的可选渐变效果。我们可以实际选择文件吗?这里有些我过去从类似Browser OS的绘画结果中保存下来的画作。[笑声] 所以我们可以选择自定义文件,然后就可以返回了。还不错。现在让我们看看游戏问题是否出现了任何明显的错误。好的,没问题。所以我会告诉它两个都没用。我很喜欢这里的审美风格。这就像是在泳池边的聊天一样,很合理。我告诉它两个游戏都没能正常工作,并且希望它能修复我们在控制台中看到的这些错误。好吧,让我们看看我们的固定版浏览器操作系统是否至少能解决游戏无法运行的问题。我想确认一下。好的,是的,它在东西里添加了“已修复”。不幸的是仍然没有任何反应。不过我对此感到满意。我只是想看看能否通过网络聊天界面获得一个简单的修复方案。诚然,我们要么尝试在这个模型内的Open Code中修复它,要么就接受现状。不过我们现在可以看到有趣的是,时钟确实修好了并且正常工作了。神经网络可视化工具还是老样子。让我再检查一次,看看是否有任何特定问题……没有错误了。所以无论游戏出了什么问题至少不再产生冗长的报错信息。接下来在Open Code内,从计划模式开始。我将给它一个C++ 3D滑板公园测试任务。这实际上是早期的一个版本,不需要加州海滨大道或80年代商场,只需要是一个真正的滑板公园。所以我有一段时间没运行这个了,但所有核心约束都是一样的:它只需要使用C++编写单个文件。我们已经在计划模式下开始了,所以让我们看看会发生什么。我想象它会问我们要关于指定实现的一些问题。好的,它选择使用Ray库。这有点棘手。我认为在这个规模下的模型应该能够不使用Ray来完成。所以我会告诉它这一点。现在它将开始构建代码。速度相当不错。目前它在Open Router上免费提供,我也在使用那个非免费的版本,因为我记得看到过付费版本的Token速度更高,所以我选择了它,因为它真的很便宜。好吧,文件已经写好了。它将编译代码。我们看到这里出现了一些错误,它最终会逐个修复它们。我总是喜欢看看出现了多少错误,因为即使在看到结果之前,这也表明了某种程度的质量水平。好的,数量不算巨大。所以它将修复它们并最终再次编译以取得进展。好吧,它又编译了一次,我们现在看到这里的错误明显减少了。这正是我们想看到的。好的,刚才发生了一些事情。它一定修复了它们并打开了程序,因为就在我要滚动的时候它做了那个动作。哦,好的。我现在就放手不管了。所以基本上它是准备好从待办事项列表中交付最后一项结果给我们了。让我更仔细地审查游戏逻辑以查找潜在问题。然后它确实那样做了并得出结论说我需要显著改进游戏。好吧,我对这个结果感到满意,因为正如我们所见,我们之前只得到了一个静态的天空蓝——或者应该说泳池蓝色的场景。所以我们就让它继续运行看看它会做什么吧。好的,至少让我看一下。是的……不。好吧。我试图移动但没有任何反应。我要停止它,因为它已经多次尝试改进游戏但没有修复核心问题。所以我会告诉它并看看它能否解决这个问题。好的,它说找到了一个问题。很好。是的,目前仍然非常基础,但核心要点是它发现了阻止任何内容出现的根本问题并解决了它,这我很乐意看到。此外,我们当前的上下文长度约为120k Token,与声称的一百万相差甚远。不过一旦达到那个规模,行为可能会发生变化。我想知道……是的。好吧。所以它仍然超级基础,但空格键确实让我们跳了起来。我现在给它更多关于游戏行为的信息,看看能否推动它向我们展示更多的资产内容。所以不幸的是我差不多要结束这次测试了,因为在这个思考链中——相当冗长。我以前真的没见过它思考这么久。它进行了大量的思考,然后似乎……

画面似乎卡住了,所以我打算让它再运行一会儿,但接下来我们要进入下一个测试环节。从这次测试中我得出了一些结论:它最终确实展示出了某些效果,起初只是显示了一个天蓝色的屏幕。随后地面平面和一些动态开始显现出来,看起来非常执着。到目前为止上下文长度已经接近20万个token了。对于这样一个参数规模且激活参数量有限的模型来说,在处理如此困难且具有挑战性的任务时表现出这种有趣的行为。

接下来通过Web聊天界面进行测试,如果遇到问题,一旦脚本在系统上就位,我们将使用Open Code来逐一解决。我们给它一个包含FPS提示词的细节丰富的地铁场景测试,因此结果应该是一个第一人称射击风格的地铁游戏。好的,我们收到了这个地铁FPS游戏的代码片段。我几乎想先在Artifact窗口中尝试一下,然后在这里原生地查看它。好吧,我们不可避免地会遇到一些问题,我认为在这个阶段我实际上将切换到直接使用Open Code而不是Web聊天界面来尝试逐一修复这些问题。

在Open Code内部,我直接从构建模式开始运行。我说要修复脚本中的以下问题:我已将其放在与该脚本相同的目录中,这样它就知道该查看什么了。好的,现在需要一个导入映射(import map),这就是我们遇到的问题所在。但我们看到很多这类问题都消失了,而且速度非常快,做得很好。好吧,我们取得了进展啊,我们还是看不到太多东西,我觉得太暗了,这大概是我的推测。点击不能射击,好的,跳跃功能正常。让我看看,让我重新加载一下。探索模式好吧,这不起作用FPS模式这里有一个亮度滑块,我们无法直接操作它,这样也好。

好吧,不幸的是效果并不理想。我们现在取得了显著的进展,对此我感到非常高兴。好的,我想那些是敌人吧?它们看起来像……而且长得有点像Android的图标。也许这个模型对安卓系统有些微妙的不屑?我不会下这样的定论,但确实如此。让我进入FPS模式或探索模式。很好,这个起作用了猜测一下呃哦不我想是我点击到了别处要么是我死了要么我是退出了“凑合着用吧”模式。哦,天哪?好吧,所以[鼻息声]这里发生了什么?这就是玩GTA游戏时会出现的情况:有时警车会直接瞬移到你身边,然后像那样惊慌失措。所以这是一个有趣的现象,但我们正在见证它发生不过我认为这次测试最大的收获是:这个模型真的非常努力地去解决各种各样的问题,修复了所有这些问题。

然后把我们带到了一个实际上能够看到部分成果的阶段它看起来非常执着,似乎会一直尝试去修复这些问题,这让我很高兴,即使最终结果并不是那么令人印象深刻。我之前看到一些报道说它在创意写作方面表现出乎意料的好所以我想做一个“史蒂夫,电脑维修工”的角色扮演测试,因为这将很有趣。于是我说:“请角色扮演为史蒂夫,一位电脑维修工。”它回答:“这里是电脑维修工史蒂夫。而且我喜欢它以全部斜体字呈现这种效果,配上满是油污的围裙。”“机器坏了、启动缓慢或者机箱发出奇怪的噪音尽管说。我从闻到让人后悔的电源到使用三个月就报废的固态硬盘,什么见多识广。”

“今天你的电脑出了什么问题?”有趣的是它说的是“What's aliling?”(什么在困扰你?),我不知道我是否见过模型产生过这种特定的短语。史蒂夫用抹布擦了擦手。“Glick gl。”好吧,这不是一个词没关系反而让它更像是在复制粘贴文本这样人们就不会觉得那是AI生成的因为通常AI不会那样做。史蒂夫用抹布擦了擦手,带着恼人的坏笑瞥了你一眼。“啊,莫诺米,你找错维修工了。我修电脑不接提取任务。不过如果你那台笔记本电脑被斐济的某些可疑人物入侵了,我绝对可以帮你彻底清理硬盘。或者如果你需要一个新的身份我知道有人卖翻新MacBook。”眨眨眼。“我们谈论的目标是什么类型?人类还是硬件?”

史蒂夫的笑容消失,紧张地环顾四周然后凑近说道。“对对。没时间开玩笑了听着我后面有一个笼子,一个能争取大概20分钟时间的信号干扰器还有一台干净得像新的一样备用笔记本电脑。但首先,我们要处理什么样的损坏?他们在你的机器上植入了什么东西吗?他们正在追踪您的位置吗?更重要的是,你到底站在哪一边?”他手指上旋转着一个U盘。“这个小宝贝要么能救你的命,要么要了你的命。计划是什么老板?”史蒂夫的眼睛闪烁着兴奋和怀旧的光芒听到细节后。“太棒了嘿我还记得怎么开手动挡。在我那辆老款87年思域里学的,野马是5速对吧?”抓起他的夹克。“它确实是5速。98年的GT会有这个配置但等等7分钟?那太赶了。”

“如果不得不的话我会去接线启动它,但别弄坏了老伙计的车。”他走向门口。“好吧我说钥匙在里面而且车已经发动了。钥匙在车里且已启动完美。”“我会松开离合器,挂入一档,在我们还没喝完咖啡之前福布斯(Interpol)甚至都来不及发现我们。那台4.6升V8引擎确实没错。”“虽然听起来并不低沉,但它会咆哮。它会飞翔。”有一个问题你说车主来自奥马哈你确定那些车牌没有追溯到某个重要人物身上吗?他在门口停顿了一下。“只有一种方法可以知道。走吧。”

所以让我们看看如果把它放在一个场景里会怎样。“史蒂夫双手可见地握着方向盘,对着警官露出迷人的微笑。晚上好警官。开车兜风的夜晚真美不是吗?我刚提了这辆野马,1998年GT款。樱桃红色运行起来像梦一样。”好吧带着微妙的眨眼瞥了你一眼。“我实际上正要去修车店它变速箱有点小毛病。你碰巧知道这附近有什么好修理厂吗?”继续流畅地说话拖延时间。“天气真好。夏末的傍晚真宜人。”好吧让我们突破极限我觉得我可能无法展示这部分了哦好吧。

[笑声]好的是的,它在创意写作方面简直太棒了我会高度推荐或者哦你知道吗?忘掉代码性能吧这不重要这东西很有趣[笑声]我完全不能展示其中的任何部分所以我试着读一下其中的一些内容。史蒂夫的眼睛睁大了半秒钟。

第二秒,他像疯子一样咧嘴笑,猛地将野马挂入挡位。嗯,空白。现在才像样。他猛然起步,轮胎尖叫,4.6升V8引擎在我们身后轰鸣。空白。好险。我都有几年没逃过命了。(笑声)他狂笑,带着狂野的笑容瞥了一眼。我读不了那个。换到二档,然后三档,猛踩油门。现在去哪,老板?去安全屋,还是让这辆老野马发挥它的价值?这出乎意料地好。我要继续推它一把。哦。(笑声)再来,(倒吸凉气),(喷鼻息)。

(倒吸凉气)我没法展示这个,等等,伙计。这可是相当劲爆的内容。我自己更偏向啤酒和威士忌,但既来之则安之。(笑声)剩下的部分根本没法展示。哇哦。好吧。(笑声)现在,你知道该怎么做吗?把这个角色扮演变成一个拥有高端图形和用户体验的互动网站。看看我们能得到什么结果。好吧,哇哦。噢不。(笑声)我没法展示……我没法给你看。好了,它生成了一个捕捉了我们角色扮演场景的网站。我在生成代码时看着它,不知道我们能不能展示大部分内容。是的……不,我们不能展示任何这些。也许有些可以。

好的,有国际刑警组织、追捕、速度、燃料和威胁等级。我们有物品栏。这就像一款现实游戏。我们可以做下面的选择:尝试穿越边境。有趣,这里的对话变了。好的,我们现在的位置是墨西哥边境,前方有检查站。史蒂夫戴上墨镜,调整帽子。好吧,是时候换装打扮了。我有一本假护照和一些藏在袜子里的比索,但边境巡逻队总是很彻底。他拿出一面小镜子:我改装了这个用来检查后面有没有特工。你准备好了吗,伙计?哦,我不行……我必须得去。好吧,那就这样吧。贿赂守卫。这一页说这会导致下一幕的出现。(笑声)哇哦,太有创意了。老实说,忘掉用这个写代码吧。写一个短场景。

标题:回归健身未来。场景:布朗博士的车库实验室。蓝图散落一地,混杂着蛋白粉容器和一个看起来非常严肃的白色卧推凳。博士穿着无袖实验服和反戴的棒球帽。马蒂拿着滑板走进来:“博士,你说你在时间机器上有了突破,但为什么你穿背心?这些蛋白粉是怎么回事?”博士喘着气,擦去额头的汗水:“马蒂,你来得正是时候。我有了一个重大的发现。”“是关于时间旅行的吗?”博士:“不更好,叫‘外观最大化’(Looks Maxing),马蒂。通过优化的健身成果和美学精炼来释放一个人的全部身体潜能。”“你又在看YouTube了吧?”博士:“别荒谬了,我是从第一性原理逆向工程出来的。”

他拿出一块沾满粉笔灰的白板,上面写满了公式:“根据我的计算,如果我恰好能卧推335磅(约152公斤),我将达到巅峰的‘阿尔法男’状态,并解锁时间美学的秘密。”“博士,时间旅行不是这么回事的。”无视他,戴上举重腰带。(笑声)335磅。增肌界的圣杯,每一个专注健身者的终极目标。博士试图裸举杠铃,杠纹丝不动。他戏剧性地用力挣扎,青筋暴起。“博士”咬牙切齿:“为什么你不移动?我计算了最佳的重复次数范围,合成了完美的训练前补剂配方。甚至连续6小时循环播放大卫·戈金斯(David Goggins)的励志录音。”马蒂:“也许你应该从轻重量开始?”

“轻重量?马蒂,我是科学家。我不做渐进式进步,我直接冲向人类成就的顶峰。”博士尝试再次举起杠铃,这次更加戏剧化。车库灯光闪烁,墙上的时钟稍微倒转了一下。“博士” triumphant地大喊:“我感觉到了时间增益的力量流经我的血管。”他瘫倒在卧推凳上,精疲力竭。杠铃还在架子上。“博士”,我想你花太多时间在车库里了。”“但马蒂,一旦我举起335磅,我会壮得像头牛。我可能同时能搞定比夫和利比亚人。”“这其实是个相当有说服力的论点。等等,这段有多长?我有主意了:如果我举不起335磅,也许我可以回到过去,给年轻时的自己一个健身起步的优势。”

“博士”,这……这可能行得通。“博士”已经在写公式了:“当然,它有效。时间旅行加上外观最大化等于人生的终极作弊码。”停顿后咧嘴笑:“马蒂,你正在见证一个新纪元的诞生。游戏未来的纪元。”博士把一副飞行员太阳镜扔进室内并摆出姿势。马蒂只是摇摇头笑了。“博士”,你知道吗?有些东西永远不会改变。”“博士”展示肌肉:“一旦我举起335磅,我的二头肌也不会改变。”随着博士尝试另一个戏剧性的姿势差点摔倒,画面淡出。

好吧,这比我预期的要长。而且你知道,它有一些元引用,比如比夫和利比亚人、时间旅行之类的事情。所以,现在在Open Code里,从构建模式中,我要给它一个历史性的3D打印机模拟测试。这是我确信至少几个月没跑过的测试,但对于这个规模和能力的模型来说,我认为这是一个很好的测试。不幸的是,在Open Code中,它经常在思考中途冻结,我不确定发生了什么。我打算让它无限期运行下去。但与此同时,我将通过Web聊天界面给它进行3D打印机模拟测试,看看结果如何。

所以我们从Web聊天界面得到了3D打印机模拟的结果。不幸的是,它没在工作。好吧,我们在Web聊天界面上达到了免费访客的消息限制,但因为我还通过Open Code使用它。不幸的是,我们在那里遇到了一些问题。我只是把它给到它在Web聊天界面完成的地方,然后告诉它找到3D打印机模拟脚本并添加一个缺失的导入映射。好的,我找到了两个。不错,它会把那个添加到修复版中。那很快,我真的希望现在……好的,我看到了。只是太暗了。你知道吗?没关系,其实如果我们能把雾气去掉,这看起来相当不错。“好的,既然我们现在让它在这里工作了。谢谢。”

“去除雾气并使场景更亮。”那很好,速度真快。好吧,我们这里有一个打印机,这是一个简单的模型,但它是Core XY结构。顶部有导轨,我们有喷嘴和定义的打印床。仍然有点难看清,但肯定比有雾气时好多了。“让我们开始……”

打印过程很顺利,喷嘴移动平滑,我很满意。它应该是在打印一个正方形,好的,我们确实看到它在开始工作了。虽然喷嘴在打印时并没有真正接触到床面,但它看起来确实在逐层构建。看啊,我们可以清楚地看到单个图层。而且当新图层弹出时,有一种奇怪的粒子效果,这很有趣。如果我们把层调大一点……是的,确实生效了。它只是把它们分散开来,我们可以看到效果已经体现出来了。

接下来我们画一个圆,使用大层、高速模式来检查一下。哇哦……也许太快了?不过它成功实现了这个效果,这让我很高兴。三角形打印得也很好,“啪、啪”,只是我从未见过图层展开时有这样的粒子效果,但这很有趣。喷嘴的移动确实与正在打印的特定形状相对应。哇,它似乎在用渐变来展示效果?也许那只是阴影吧,抱歉。但无论如何,这里有一种不错的合成波美学风格。我对这个结果很满意。

我的电脑死机了,导致视频结尾部分的录制丢失。幸运的是,我只做了几件事,主要是前端设计测试,因为看看一个不基于任何现有模型的模型会做出什么样的审美选择总是很酷的。第一个测试是为一家名为“Rent My GPU”的公司制作高科技前端界面。我们可以看到有一个RTX 4090的轻微动画SVG,还有一些其他业务统计数据、悬停效果。这基本上符合你对此类网站布局的预期。它似乎喜欢霓虹灯风格,但我之前说过这个应该具有高科技美学,所以这可能解释了为什么设计中包含了霓虹元素。

此外,我们还有一些可用的GPU选项,它们也有悬停效果,这些都是你预期会看到的型号,比如4090、A100或H100。定价或计划卡片做得非常好,上面有不错的特效。这再次符合这类商业网站的预期风格。接着有一个大的“免费试用”部分,页脚结构良好且组合得当。总的来说,这是一个简单的霓虹网站,源自一个相当简单的一句话提示词。

另一件事是我用全大写字母说:“制作一个疯狂的、全部大写网站的网站,给Steve的”。我在一个完全空的目录中开始操作,它给出了这个结果。我们可以看到背景和光标都有有趣的交互性。它选择制作一个作品集网站。同样,没有任何相关信息,只是说“给Steve做一个疯狂的、全大写的网站”。它创建了以下内容:“你好,我是Steve,全栈开发者、创意编码者和数字炼金术士。我们有500个项目、10年经验以及99杯咖啡。”

我想这些是眼睛,它们应该排列成另一方向,因为嘴巴在下面。但我们可以忽略这一点。这里有一个时间轴,显示2016年第一行代码被编写时命运得以实现。文本堆栈部分很酷,随着我们向下滚动,Steve在这些方面的具体排名填充方式也很特别。虽然这里没有显示出来,但我们至少在第一次看到了这种效果。然后我们有一些疯狂的项目在这里,这些卡片有酷炫的移动效果。我以前见过类似的东西,它是互动的。最后是一个不错的联系表单:联系Steve(steveled)。页脚不如Rent My GPU的那个结构完善,但这 definitely 是一个更具“疯狂全大写”美学的网站。

这很有趣。现在让我们进入结论部分,这也是我首次在频道上测试Poolside的一个模型。我必须说,考虑到DeepSw SWE分数,它的编码性能超过了Sonnet 4.6。但我对编码能力并不印象深刻。通常我们收到的结果存在许多问题,甚至在看到任何东西之前就需要修复这些问题。就像我们在Subway FPS和3D打印机模拟中注意到的那样。C++滑板游戏相当有趣,因为起初很长一段时间里我们只有一个天蓝色的屏幕,没有任何交互、移动或地面平面。它最终修复了这个问题。

我注意到这一点是因为我们将其上下文推到了约20万,试图正确修复并使其工作。它非常擅长持续不断地打击一个问题,似乎完全不想放弃。即使结果不如我们希望在编码部分看到的那样酷炫,这也很有趣。另一方面,我们在一些更异类的创意写作任务上尝试了它,效果棒极了。 seriously,对于创意写作,我会把它与最好的模型相提并论。

对于那些希望能在本地运行、擅长角色扮演和创意写作的用户来说,这绝对是你想要查看的模型。我甚至无法展示一半关于“Steve电脑修理工”的创意写作任务,那太搞笑了。这只是通过他们自己的网页聊天界面使用的。因此,你下载并在Spark或其他设备上运行的模型在遵守这些请求方面可能不会有太大差异。这很有趣且好玩。

我的主要结论是,这个模型似乎非常有创意,但在原始编码能力方面并不那么胜任,基于我们在这里做的一些事情。我尝试了一些额外的测试,但不幸的是,通过Open Router API中途似乎出现了一些错误,它思考了一段时间然后就直接卡住了。我想直接从提供商那里测试这一点,而不是在本地运行,因为存在一些瑕疵,我不想让系统上下载文件的配置不匹配导致模型看起来比实际更差。所以我想测试其假设的全潜力性能,这就是我们这样做的原因。

这大概要结束今天的视频以及我对Poolside模型的首次测试了。如果你有任何问题,请随时在评论区留言。感谢观看。