大家好,我是 Kate。十月二十六日,AI 值得看。南北阁四点三三十三B来了,他先当老师,再把本事交给小模型,三百三十亿参数稠密结构,Apache 二点零开源,是这个系列的旗舰教师模型。它不只是老师,官方称它本身就能直接部署。
模型卡列出的二十项评测里,他拿了十七项第一。官方对比了三个三十 B 级的新模型,Quan、Muse、Glimmer 和 Gemma 都开最高思考强度。智能体编程上 Terminal Bench 2.1,他拿到八十点九,Quan 是七十三点零。
更难的四点零版他是二十三点八,另外三家最高只有六点三。办公协作也领先。YC Bench 按美元计分,它约一百零二万,Quin 约六十四万。Job Bench 覆盖三十五种职业,它在多数职业上领先,但医疗管理者一项,它是二十七点八,Quin 是四十五点三。
它也不是样样第一。SWE Bench Pro 和 GDP VL 略输 Quin,GPQA Diamond 输给了 Gemma。上下文最长五百一十二 k,思考模式默认打开。做智能体任务,官方建议保留历史思考,用 XML 调用工具。
注意,这些都是团队自测,各项评测框架不同,有的还用大模型当裁判,模型卡也还没附技术报告。一句话总结:开源的智能体老师自测领先同级,值得等第三方复测。
大模型在图里找东西,常常指错、数错,还会编出根本不存在的目标。腾讯微信视觉团队的 WeVisOne-VL 有二 B 和四 B 两版。一个模型就能检测、计数、OCR,还能分割和抠图,从框一直细到像素。
底子是一套数据引擎,超过一亿张图,约三十六亿个框,还专门造了图里其实没有的难例。坐标被写成从零到一千的专用词元,目标不存在就填空值。要做分割,就在每个框后面多生成一个 obj 词元。
这个词元交给一个约九百六十万参数的像素解码器,直接画出掩码或抠图,不用外挂大的分割模型。训练是三段监督微调,再加 grpo 强化学习,专练模型最拿不准的样本。以四 B 为例,密集小目标检测的平均 F 一是七十一点三,locate anything 是五十八点七。
面对不存在的目标,它的拒识率是百分之六十七点四,其他对比模型都不到百分之二十五。数数也更准,Mix Count 测试集的精确计数准确率是百分之四十点四,第二名是百分之十五点二。像素级也一样,在一个分割评测里,它的拒识率是百分之八十六,其他模型最高百分之四十一点九。
框提示抠图的误差是五点零,对比方法最好是十一点零。但它并非每项都第一,在个别严格指标上仍落后 Locate Anything。作者也承认,它没有思维链,只做单轮,通用能力可能不如底座。
一句话总结:一个 O B J 词元把从框到像素的感知装进同一个小模型,还学会了说没有。Dorson Ball 把私信里交朋友的经验写成了一篇长文,讲他现在怎么和编程智能体一起干活。
第一条,只用最新最强的模型,模型错一成你也不知道错在哪,只好反复重试,便宜一半却随机笨两成,不划算。第二,别再担心 AI 把代码库堆成垃圾。半年前也许是这样,但他现在不太相信。就算多了,他也不认为结果没法维护。
第三,提示词要写你想要什么,而不是怎么做。比如让编译器和虚拟机越快越好,不快到两倍就别停下。第四,让智能体看见整个开发流程。幻觉是靠工具调用止住的,看不见的东西它就会编,所以让它自己跑程序、读线上日志、部署和发版。
为此,他们团队做了专门的插件,用来处理 bug 报告,给用户发邮件,检查系统是否健康,还有开通功能开关。代码库里会越堆越多,说明文件、技能、脚本和文档。智能体真的会用吗?他的办法是开五个互不知情的智能体,分对照组和实验组来测。
他还觉得本地开发越来越别扭,每个智能体都要能自己安装运行需要的东西,在远程机器上很容易,在本地却总抢资源。别跟他一来一回的试,让他一次做二十个版本,再附一个能组合测试的小页面。查性能问题时,先让他给四个猜想,再逐一验证。
他说,最大的改变是要他拿出无可辩驳的证据,端到端演示、录屏、前后对比的数字都算。他甚至在说明文件里写上,这不算证据。别等智能体,让它等你。总盯着它多快开口,方向可能就错了。任务给大一点,攒成一批胶带,少来回。
定时和唤醒,它称为杀手级功能。关掉之后才发现离不开。比如两小时后查日志,上线了告诉我。每天九点检查一次。上下文也别手动管,纠结用了三十万还是三十八万 token 是浪费时间。自动压缩很好用,一个线程只做一件事。
短的四十六条消息,长的三千七百多条,在 Amp 里线程就是公司的记忆。现成和 Git 提交关联在一起,想知道当初为什么这么做,翻一下就有,还能避免重复劳动。另外,别让智能体替你给人写东西,只有调试步骤、事故报告和部分文档这类偏机械的内容可以例外。
最后,代码审查只看影响面大的地方,比如不到五个核心文件和数据库迁移、命名、类还是 B 包,甚至重复代码,他都不再在意。他只问能跑吗?看得懂架构吗?这是他截至二零二六年十月的个人做法,不一定适合每个团队。
一句话总结:给智能体眼睛、工具和大任务,你只盯证据和关键代码。用视频模型做游戏,最大的麻烦是记不住规则。这篇论文的思路是代码管规则,视频模型只管画。以往的世界模型把世界状态藏在像素里,视野外的东西没人记,小误差越积越大,玩法也只剩走走看看。
Matrix Game 4.0 把系统拆成三块:游戏引擎当裁判,管状态和规则;编程智能体当编剧;视频模型当画师。引擎只画粗糙的低多边形画面,视频模型把它重绘成有材质和光影的画面。训练数据来自虚幻引擎五,成对采集了大约一千七百小时。
引擎还会按当前看得见的物体和状态,实时拼出一段文字描述。几何管位置,文字管语义。渲染模型基于万二点二蒸馏之后,每次生成四帧,只需一到两步去噪。再加上一连串推理优化,在一张 RTX 五千零九十上,生成速度从每秒四点五帧提到八十三点四帧。
按键延迟从一千一百一十毫秒降到一百一十二毫秒。和四个同类系统比,它的延迟最低,约为第二名的五分之一,也是唯一用单张消费级显卡的。不过各家分辨率和硬件不同,仅供参考。有了编程智能体,一句话就能改玩法。
射击游戏加上护盾,赛车改成计时赛或追逐模式,规则都由引擎执行。局限也要说清楚。目前每个游戏要单独训练一个模型,输出是 480P,评测只用了 40 秒的流出片段,代码和权重已经开源。
一句话总结:代码管规则,视频模型管画面。一张消费级显卡就能跑实时生成的可玩游戏。带着相机拍下的视频,能一次还原成 3D 世界吗?这篇论文说能。第一人称视频里,相机、深度、手和物体要一起搞清楚。
过去的方法各管一块,拼起来尺度和坐标还对不上。这套方案叫 Ego Experience,来自南洋理工、清华和北大等团队,从数据到模型再到评测,一条龙全包。核心是一台自动标注引擎,头戴设备用双目相机算深度,用 SLAM 算轨迹。
物体先在三十一台相机的穹顶里扫描建模,再到视频里跟踪核验,最后全部放进同一个世界坐标系。由此得到五十小时数据,一百零一个物体,两百七十个任务,覆盖桌面、跨房间和户外。另留一小时做评测集。
模型 egoX 只要单目视频和第一帧的物体掩码一次前向,就输出相机深度、双手和物体位姿,全在同一个真实尺度的坐标系里。在四个基准上,手的世界坐标误差在 H O T 3D 上从五十六点三毫米降到三十八点九,在自家评测集上少了百分之六十五点六。
物体位姿四个基准都领先,自家评测集上 AUC 从五十九点八提到七十六点六,深度误差也降了百分之四十二点九。但它不是样样第一,相机轨迹只在 HOISD 上最好,其余三个基准 VGGT 这类模型更准。它也只处理刚性物体,不预测网格。
一句话总结:先用引擎造出对齐的数据,再让一个模型一次就把相机、场景、手和物体放进同一个 3D 世界。一块芯片只有四十四吉字节内存,三万亿参数的模型却要好几 TB,怎么装得下?Sarah Brass 用开源模型 Kimi K3 举例,讲了怎么把大模型拆到多块晶圆上。
官方称速度能到每秒一千到两千多个 token。Kimi K3 共九十三层,六十九层线性注意力,二十四层稠密层,按四比特存,权重一共一点五 TB,每层约十六吉字节。稠密层要给 KV 缓存留空间,一块晶圆只放一层;线性层只存固定大小的小状态,一块能放两层。
算下来一共五十九块晶圆,晶圆之间只传激活值,走以太网 RDMA,每跳大约二微秒,权重基本不用搬。一个请求就像过流水线,金源一跑第一二层,交给金源二跑三四层,一路传到最后,吐出下一个 token。那其他金源不就在干等吗?不会,流水线里同时塞着不同的请求,第三级算 A,第二级算 B,第一级算 C。
并发上限要看 KV 缓存,放下一层稠密层,还剩二十八吉字节,一个两百五十六 K 的请求,每层占一百四十七兆字节,算下来大约一百九十个并发。作者也提醒,并发数不等于效率,更该看同样生成速度下每兆瓦每秒能出多少 token。
一句话总结:把模型按层铺满晶圆,权重不动,只传激活值,再用请求把流水线塞满。以上就是今天的 AI 值得看,明天见。