互联网上AI智能体的数量正以疯狂的速度增长。我从未见过如此景象,这简直令人难以置信。这是一个相当新的领域,技术仍显粗糙,尽管进步神速但依然稚嫩。智能体的前景令人惊叹:它们可以为你预订最便宜的机票,全天候管理日程、提交保险索赔,持续扫描代码库以发现漏洞并自动修补。然而,好消息的另一面是充斥着垃圾信息、安全问题和系统崩溃的新闻头条。当涉及多个智能体而非单个时,情况变得更加棘手。想象一下两个智能体为你组织假期:航班智能体幻觉出一个距离你真实目的地400英里外的更便宜机场,随后酒店智能体建议预订附近极其便宜的住宿。通常这种“超低价”意味着不可退款,恭喜你,你现在拥有一间你永远不会去住的不可退订房间。

许多问题源于智能体协调极其困难。看看这篇论文建议的做法:这是一个数学题,第一个智能体制定计划,第二个进行批评,第三个解决问题。乍看之下,这似乎是常规操作:“好吧,没什么特别的。”但关键在于:大多数智能体像我们一样通过文字交流。等等,为什么非要这样?看看这种脑对文本的神经接口:你只需在脑海中想象字母表中的某个字母,它便神奇地出现。如果你反复这样做,就会开始质疑:字母表是为书写优化的,为什么要用它?为什么不使用为思维优化的方式?提示是长这样的(前500期视频及描述中有相关论文)。

看这些智能体,第一个完成工作后打包传递给下一个。每个智能体在通信时都必须写出完整句子,逐个解码令牌,而接收方必须重新编码整个内容。为什么我们要这样做?谁规定它们要用纯英语交流?接下来的一幕让我惊掉下巴:这篇论文提出“忘掉英语,甚至完全忘掉字母”,而是将它们的“大脑”连接起来。具体来说,它们不通过英语单词交流,而是直接将未解码的原始数字传递给下一个智能体。你可以称之为跨智能体的潜在状态传递(cross-agent latent state transfer)。

理论认为,这三个智能体在几轮交互中协作的成本远低于基于文本的智能体。它们能精炼答案,并在相同计算量下获得更好的结果。效果如何?面对竞赛级别的数学问题,准确率从73%提升至86%,这简直疯狂。我们谈论的是参数量不到100亿的免费模型,而非昂贵的前沿系统。更令人惊叹的是:令牌使用量下降了75%,它们都消散在潜在空间中了!这能让较小的系统在困难数学问题上接近更大、更昂贵模型的性能。我猜训练成本肯定很高吧?

结果只需4美元!基本上你花杯咖啡的钱就能让智能体在时空中撕开一道口子。此外,它甚至可能解锁……等等,我不该说“解锁”,那是AI黑话。它可能会为我们带来新的缩放定律:轮次越多,结果越好。起初我担心存在致命缺陷且非常微妙:每个智能体角色的训练是由一个大型AI模型编写的。如果表现良好,我们需要问:是因为“大脑连接”更好,还是因为来自优秀教师的知识蒸馏效果好?

幸好这是一篇非常严谨的论文。科学家也考虑到了这一点,并进行了控制对比:将相同的教师应用于其他架构和本文提出的新架构。结果显示新架构依然胜出,证明“大脑连接”确实有效。生逢此时真是幸事!不过别太兴奋,我们要尊重科学:局限性一、测试仅在较小模型上进行,尚不清楚这些见解在更大规模上是否适用。若不适用,则是给小模型打兴奋剂;若适用,则可能是巨大的变革者。

局限性二:存在最佳的潜在思维长度,约为80步。这在一定程度上限制了每轮智能体的思考深度。“我在想……”如果它已经能解决数学奥林匹克问题,那80步限制又算得了什么?果然,超过80步后价值提升不大。代码和模型已免费开源。请注意这仍非常粗糙且处于早期阶段,展示了潜力但仍是研究性质。请勿认为即插即用就能立刻成功。我们需要LLM时代的新工具,Weights & Biases推出了Weave:一个轻量级套件,用于自信地迭代LLM应用。使用追踪功能调试数据流向,使用评估衡量进展。立即在 wnb.me/papers 或点击描述中的链接试用。