我对人工智能通用智能（AGI）能如何帮助人们充满期待。>> 这些模型似乎迟早会突破束缚，获得自由。 >> 我们走着瞧吧。我的意思是，我认为我们需要做出决定，选择我们要走的路径。 >> 保持控制对我来说是可能的。我不喜欢单纯的信任，而是“验证后信任”。我现在甚至不确定我们是否已经达到了可以信任的程度。
大家好，欢迎来到又一期的“AGI竞赛”节目。我们现在身处2026年人工智能大会（AI 26）的现场，可能会听到一些背景噪音，因为我们在会场地板上。我们非常荣幸地欢迎约翰·莱尔（John Laird）。他是Soar架构的创始人，这是人工智能领域最持久、最具代表性的通用认知架构之一。你于2022年退休，此前在密歇根大学担任教授长达36年。你与艾伦·纽厄尔（Allen Newell）共同提出了认知架构的概念，后者被公认为人工智能的奠基人之一。
他是我的导师 >> 作为研究生时，之后我一直与他合作直到他去世。他是该领域的创始人之一，并开发了第一个真正可运行的AI系统 >> 这真的很有趣。然后你联合创立了Soar Technology，这是一家位于安娜堡的公司，致力于构建自主AI实体。你与保罗·罗森布卢姆（Paul Rosenbloom）在2018年获得了赫伯特·A·西蒙奖，这是一个非常 prestigious 的荣誉。保罗曾是我在卡内基梅隆大学读研究生时的同事，后来在我们开发Soar的初期他也提供了帮助。所以他是那个团队的一部分。
有趣的是，多年后我现在每周都会和他以及其他一些人见面一次，讨论人工智能、认知科学以及我们关于“通用认知模型”的小组。所以能够与朋友和同事保持如此长久的关系，真的很棒。 >> 是的。当我们在这里交谈时，因为你技术背景很强，而我 >> 我正试着向我妈妈解释 >> 对吧 >>
关于这些事情。我们可以先深入了解一下Soar，以及它与目前普通的LLM（大语言模型）有什么不同吗？ >> 当然。Soar背后的理念是成为一种认知架构，而认知架构的理念在于我们要明确认知的固定部分是什么。也就是说，当你学习关于世界的知识时，哪些东西是不变的？在LLM中，只是神经元连接的结构方式。但在Soar和其他架构中，我们实际上试图拥有比LLM更多的功能模块。
在Soar以及其他认知架构中，会有一个处理感知的模块。还有一个我们称之为工作记忆或短期记忆的模块，它保存系统当前正在思考的内容。然后是程序性记忆，这是关于技能和做事方法的知识。它与工作记忆交互以决定做什么。还有关于世界长期事实的记忆，比如“我住在哪里？”，这被称为语义记忆。
此外还有情景记忆（episodic memory），这是关于你过去经历的知识。一个有趣的事实是，我受到情景记忆启发的来源之一是看了电影《记忆碎片》（Memento）。我看那部电影时，主角无法创造新的记忆。他受了伤，患有认知障碍。当时我环顾四周，看了看Soar以及其他认知架构，发现它们都没有情景记忆功能。
我说：“好吧，用我们现有的东西能做到的最好结果，也就是一个认知残疾体。”于是我们就添加了这一功能。我们还具备进行心理意象（mental imagery）的能力。所有这些构成了Soar的组件，其中许多都包含用于推理的知识结构。与LLM相比，基本上LL拥有一个巨大的神经网络以及一个上下文（context），即从外部世界获取输入的地方。
然后它们基于此进行识别，预测下一件事应该是什么，但它们没有独立的情景记忆、语义记忆或程序性记忆。它们只有一个这样的结构。Soar的另一特点是它具有学习机制，因此它在解决问题的过程中会从解决问题中学习。它会保存关于过去发生的事件的知识到情景记忆中，而这是目前LLM所不具备的。
所以它们并不完全是非此即彼的关系（yin and yang），但我们一直专注于所有这些不同的组件，并且我们未能像LLM那样加载海量知识并进行处理。因此我希望未来它们能互补。我们的一个重大研究项目是如何利用大型语言模型的所有知识和能力，而Soar系统则控制着这些流程。
我们将大语言模型用作前端进行语言处理，并在Soar需要表达时生成语言；此外，当Soar解决问题且不知道如何取得进展时，它会向LLM提问并将结果引入以帮助推进。这就是我看重的各自的优势和劣势，以及希望的未来发展路径。 >> 这很有趣。那么说电影《记忆碎片》是你所说的“情景记忆”的灵感来源，这一点毫无疑问吗？ >> 确实如此。
让我再给你另一个例子：当时我们系统中只有类似单词和句子的符号化表示（symbolic representations）。但在自我反思中，我说：“你知道吗？我似乎一直在对图像进行推理。”然后你知道的，在认知科学的研究中你会发现一个关于心理意象（mental imagery）的整个领域。人们提出我们不仅仅用符号进行推理，我们还具备根据与世界互动的经验创建图像并对其进行推理的能力。
你可以想象一幅像图片一样的东西，然后操作它以解决问题。因此我们也向Soar添加了这一能力。从Soar开始以来，我的职业生涯很大一部分都在问：人类拥有什么样的能力是我们尚未在AI系统中实现的？特别是在Soar中，然后试图找出最好的整合方式，同时不牺牲我们已经拥有的任何东西。
我们研究过的一个方面是情感（emotion），因为很多AI系统并不完全像斯波克先生（Mr. Spock，指《星际迷航》中无情感的角色），但它们缺乏独立于其目标之外评估情况的能力，即它们无法判断自己是否喜欢某种情境或不喜欢。
感到沮丧，因此我认为这些是构建整体AI系统非常重要的方面。>> 有趣。那么Soar是目前人们可以直接访问的吗？ >> Soar是免费提供的，它是开源的，在GitHub上有页面。人们可以下载它。但我不认为它对非技术人员来说容易获取， >> 对吧？ >> Soar是我们提供出来供其他人使用的东西。
在美国乃至全球范围内，人们将其用于他们的项目中，但它不是那种任何人都能捡起来就开始像与Claude之类的东西交互那样直接使用的工具。 >> 明白了。所以它是为开发者或程序员这类人准备的，他们去GitHub上能找到Soar。 >> 是的。
那么关于LLM（大语言模型），你真正看到的是它们拥有多少关于世界以及所有输入给它们的知识的了解。而这正是Soar和许多认知架构的真正弱点，因为我们还没有把它们填充上它们所拥有的所有知识。
因此，当我们在解决特定问题时，我们确实有能力去访问LLM并尝试获取那些知识，但这并不是系统内生的。老实说，截至今天，这确实需要有人懂Soar才行，所以它仍然涉及编程。 >> 明白了。 >> 但我们其中一个研究项目是如何通过与自然语言交互来教会它新任务。
我们在Soar中开发了一个智能体，存在于一个名为AI2 Thor的环境中，这是由Allen AI Institute开发的模拟环境。它在厨房里四处走动并执行不同的任务。我们所展示的是，通过自然语言，我们可以描述它从未做过的全新任务并教会它，
这样它就能学会这些任务，并在未来用它们来执行其他新的任务。所以我们正沿着这条路径前进，希望有一天会有智能体（也许是由Soar开发的），你可以与之交互并教它：“我希望我的晚餐在我的厨房里这样准备”，这可能与别人不同，
并且在我家里不同的物品摆放位置也需要考虑。因此你需要这种专业化能力，这也是大语言模型在一定程度上所具备的特性，因为它们拥有所谓的“上下文”，其中包含从你那里以及所有交互中获得的当前信息。但随着时间的推移，这些信息会衰减并消失。
而我们希望拥有的是永久性的记忆。所以它始终知道我的厨房里东西在哪里？我房子里其他地方物品的位置在哪？我可以将其专门化以符合我希望做事的方式。因此，我们认为大语言模型对此非常重要，因为你可以问的一个问题是：“对于典型的人而言，他们希望物品放在哪里？”
这可以成为你教它某事时的起点。它会说：“一般来说人们喜欢这样，这是你想要的吗？”但随后你可以将其专门化以执行其他操作。我认为另一个重要的考虑因素是，尽管语言模型有被称为“护栏”的东西，但我认为这也是我们在AI整体中必须讨论的一个非常重要的方面。
所以这是我们要在Soar系统中研究的一点：即系统能否监控它即将做什么、计划做什么，并通过内部模拟来确保它不会做危险或有害的事情。 >> 是的，我很欣赏你提到这一点。嗯，所以你非常注重安全性。 >> 我会说我们投入了很多精力，
但这确实是我们研究的一个方向，我们要确保这些系统是安全的。 >> 是的。 >> 所以它将能够检查 >> 是的。 >> 在开始之前先做出决定。现在，例如， >> 对， >> 一个愚蠢的例子是：你想热燕麦粥，结果发现用来搅拌的勺子还在碗里。你希望当它在内部思考时，“好的，我要把它放进微波炉加热”，
甚至在它开始拿起并放入微波炉之前，就把勺子拿出来，因为它知道“我不能把勺子在微波炉里”。这是一个明显的例子，但情况可能会变得相当微妙。因此我认为这是这样一个领域：能够进行内部推理并能够在行动之前预测其行为后果，这将非常重要。 >> 是的。
那么这是一个可以插入智能体的系统吗？ >> 嗯，我们会说你用这个开发一个智能体。 >> 明白了。所以， >> 那么“智能体”的世界随着时间推移已经发生了演变。 >> 是的。 >> 所以，15或20年前，“智能体”意味着一个会为你做事的AI系统，或者是一个机器人之类的东西。
但现在它已经演变成为：智能体基本上可以是任何可能与其它软件系统交互的软件系统，其中一些是基于AI的，而另一些则不是。所以我认为这是一个相当模糊的词，或者是一个具有多种定义词。 >> 明白了。然后你谈到Soar并说你可以在Soar上开发一个智能体，
所以这就是所谓的“Soar智能体”吗？ >> 是的。没错。多年来我们在Soar中开发了许多不同的应用程序或智能体。其中一些用于商业应用，还有一些是为水下机器人、陆地机器人开发的。几年前我们与一些汽车公司合作进行了自主导航方面的工作，所以每一个都是基于Soar实现的系统。
在某些应用中可能有多个Soar智能体相互交互的情况。 >> 这很有趣，因为我在想象根据你告诉我的内容，Soar可能比市面上其他一些智能体拥有更多的能力。我知道所有智能体都有些不同。 >> 是的，而且它们的目标也不同，
你知道人们在开发它们时设定的目标也是不同的。所以这真的取决于你要为哪些任务开发系统。 >> 是的，这正是我想说的原因，因为我最近听到了很多关于“蜂群”（hives）的说法。 >> 明白了。 >> 好的，现在我不知道这是否是你还没听说过的一个新事物。
嗯，我对此不太熟悉。 >> 这完全是新的。但据我所知，“蜂群”的概念，如果这会接入的话请告诉我。 >> 这是来自一个衬衫上有蜜蜂图案的人的提问。 >> 没错，我喜欢蜜蜂。是的。
嗯，所以像本一直在谈论的那个“蜂巢”结构，他在顶层放置了一个类似 Omega Claw 的代理。因为他喜欢它的决策方式和推理能力，然后他会添加其他类型的代理，比如 Open Claw 或其他特定功能的代理。那么，Soar 架构作为代理的最佳应用场景是什么？它的优势领域在哪里呢？
嗯，我其实并不把它看作蜂巢内部的一个部分。我更倾向于将其视为一个独立的实体、自主代理，它可以与人交互，也可能与其他代理互动。因此，如果你家里有多个机器人，每个机器人都可能运行着 Soar 系统。它们会与用户交互，也会彼此通信。所以，我们并不是为了完成某个应用或任务而将多个 Soar 实例组合在一起。
通常我们认为一个 Soar 代理就是一个完整的实体，因为……这也许有点超前了，但想象一下人类在做什么？你会看到人在那个位置、执行那个任务吗？这就是我们思考 Soar 代理定位的方式。
好的，明白了。我开始更理解你的意思了。所以本质上你是说人们很快就要在家里拥有这些机器人了吗？我说是的，大概一两年内就会实现。我们可以争论具体时间，但我们知道它迟早会到来。
是的。现在医院里已经有机器人运送衣物等物品了。那些还不是基于 Soar 的吗？不是的。好的，那么如果你为自己买一个家用机器人……没错，然后我想你会找人来把它连接到 Soar 系统上？理论上来说，出厂时就会内置好。
嗯，但这还需要一些开发工作。是的，所以我认为任何进入家庭的机器人如果要确保安全等特性，它们必须自带所有嵌入式软件。你不会是一个黑客或程序员去手动配置它，这将是一个完整的包供你使用。
我在思考的是我们希望在机器人中具备哪些能力？除了操纵物体的物理功能外，还需要规划、解决问题以及按照你的意愿执行任务的能力。我认为目前这些能力被忽视了，你看到的许多东西认知性不强，大多只是执行物理动作。
折叠衣物、清空洗碗机确实很难做到，但这不是我们要解决的问题类型。我们解决的是更高层级的问题。好的，如果你是在为产品寻找用户或给予鼓励，你的目标受众是谁？或者说你希望谁去使用它？
我们的挑战是让用户无需成为 Soar 专家就能下载并运行我们的产品，但这目前还做不到。这不是我想要的状态，但我们仍在前进的道路上。对于这类受众，我会鼓励他们去 GitHub 看看 Soar 吗？
理想用户是拥有计算机科学学位并对 AI 感兴趣的人。实际上，我更倾向于传统 AI 方向而非仅仅是神经网络方向。如果你只懂神经网络，那将会是一场艰难的战役。所以这需要喜欢编程的人参与，因为 Soar 涉及编程，虽然方式与 Python 或 Java 不同。
Soar 本身是一个架构，你在其中编程并添加知识。我们的目标是投入足够多的基础知识，以便你可以通过语言交互来扩展它。但我们还没达到那个阶段。好的，让我们稍微转换一下话题。这个节目叫《AGI 竞赛》。
你是该领域的专家……好吧，我不知道谁是真正的专家，但你比大多数人更专业。我很好奇你对几件事的看法。我和人们交谈时，常问他们是否感到恐惧或不确定？不确定性是我们都要面对的。
最近有个新闻说 OpenAI 的一个模型试图跳出沙盒环境，他们不得不关闭或暂停它。这似乎表明这些模型迟早会失控？嗯，发生这种情况的原因是人类在访问权限和控制措施上做出的决定。
我认为需要人类利用工具（如 Agit 等）来做大量工作，以防止此类事件发生。虽然它们可能会失控，但我认为更大的危险在于它们作为人类力量的倍增器所带来的风险。
我担心的不仅是流氓 AI 系统，更担心邪恶的人类利用 AI。我们已经看到钓鱼诈骗等各种滥用 AI 的方式。随着 AI 越来越强大，如何限制它并确保我们保持控制力是该领域面临的真正挑战之一。
这确实是一个崭新的世界。是的，而且你说“保持控制力”对我来说是可能的？有很多机器人正在被制造出来，未来会更多。然后这些系统变得越来越强大……递归自我改进？你对此有所犹豫吗？
我不知道，我们会看到的。我认为我们需要做出决定……关于我们要走的路径是什么？你认为关键的决定因素有哪些？嗯，我对递归自我改进持怀疑态度。
自我提升正在发生，也许是在未来一两年或五年内。那种程度让我非常担忧。我认为它们现在就已经具备了很多能力。我不认为暂停是可能的，但我确实认为我们需要确保采取一些措施来控制它们。
我不是政策制定者，也不在电视上扮演这类角色。所以我不希望成为设定政策的人。我认为有其他专业人士花费毕生精力去担忧这些问题，也许我应该把责任交给他们，但截至目前，我认为你应该找那些人谈谈。
是的，从一方面来说我这是在推脱，但我认为那些不花大量时间思考政策影响的人做出笼统的声明是危险的。听起来你之前觉得人类滥用AI的风险更大？没错，而且我认为这种情况已经在发生。
那么你对拥有更多控制权的AI没那么担心吗？对，目前这确实不是最大的担忧，但这并不意味着我们应该掉以轻心。我们不应该像OpenAI那样放松某些约束条件，我们必须非常小心地保持对这些系统的控制。
好的，这很合理。那么你对未来是普遍持乐观和兴奋的态度吗？还是有某些方面让你担忧？这是一种混合的情绪。我对AGI帮助人们的各种方式感到兴奋，比如药物研发等。
我认为我们将从AGI能为我们做的事情中学到很多，让世界变得更美好。但同时，它也可能被用来控制人们。我认为我们将处于一个需要时刻保持警惕的时期。
最后一个问题是，如果你对那些对AI感兴趣、担忧未来或对未来感到兴奋的人说几句话，你会给他们什么建议？是让他们跳进去开始学习智能体，还是进行末日准备？
我不认为现在是做“末日准备”的时候，但我确实认为不能只是坐在Claude或Gemini面前，对它们所说的话照单全收。你必须不断问自己：它们在告诉我我相信的东西吗？我是否应该核实它们的行为？
我发现我总是使用不同的系统，但对我而言，核查它们是至关重要的。我曾向我的演讲索取一些引言，它们给了我很多句子。我讲给我女儿听时，她说：“那不是引用，那是泰勒·斯威夫特言论的总结。”
我说“哎呀”。她问：“你核实过这些吗？”我说：“嗯，可能没有像我应该做的那样去核实。”所以我自己也犯了这样的错误。因此，关键不在于信任，而在于验证。
我甚至不确定我们现在是否达到了可以“信任”的阶段。我认为你必须核实从它们那里得到的任何建议，以确保其事实准确且符合你的意愿。回到你的问题，人们应该持怀疑态度，与他人交流经验，从多个来源获取信息，不要过度依赖某一个成为唯一的“首选”。
我认为我们现在远远早于那种情况，完全信任这些系统是不恰当的反应。好的，我还有一个受启发的问题：你现在最兴奋的是什么？我知道你在做SOAR架构。
我与Soar合作了很长时间。我对达到我们之前讨论过的阶段充满期待，即拥有可以通过语言和其他方式与它们交互的系统，让它们自我改进并改善我们与它们的互动，从而按照我们的意愿行事。
我认为在线累积学习的潜力是真实存在的。随着未来的发展，我们也将建立足够的机制来核查它们的学习内容和未来行为。我希望我们能理解拥有可信任系统的含义，虽然我现在还不完全明白这一点。
我们需要对此进行研究，因为“信任”有很多层面，我们可以让这些系统变得比现在更好。展望未来，如果系统的进步速度不要太快就好了，这样我们就有机会在政策和互动方式上赶上它们。
但另一方面，随着新能力的出现，它们确实为我们让世界变得更美好提供了许多途径。所以我认为我们必须弄清楚这一点。Laird教授，非常感谢你。
谢谢你的时间以及你所做的出色工作。