凯西，正如《硬分叉》的常规听众所知，这一年对于由AI公司高管撰写的长篇宣言来说是个大年。这些人在阐述他们对未来的愿景方面投入了大量笔墨，而本周我们又迎来了另一份重磅宣言。没错，马克·扎克伯格发表了6500字的文章，试图勾勒出AI的积极愿景。此前他曾在《华尔街日报》发表过一篇较短的版本，这让人怀疑他是否会继续发布越来越长的AI宣言，直到他的要求得到满足为止。

在深入探讨这份宣言的内容之前，凯西，我们可能应该先进行利益披露。我在《纽约时报》工作，该报正在起诉OpenAI、微软和Perplexity；我的未婚妻在Anthropic工作。这份宣言名为《未来属于每个人》，文章以一种模糊且乐观的愿景开篇：“我们很幸运能生活在历史的一个非凡时刻。在未来几年里，人们将能够利用超越人类能力的人工智能来创造和发现前所未有的新事物……”

扎克伯格继续写道，人们将能够建立新的企业、表达新颖的想法、学习新概念，并促进健康和生活质量的提升。接着他谈到了Meta正在构建的内容：他们希望让每一位用户都拥有一个极其强大的个人智能体，它能理解你、你的目标以及你在乎的一切。他说，用户可以通过包括眼镜在内的任何设备访问这一智能体。

他还分享了一些使用该AI智能体的方式，例如标记有趣的信息、协助他原型化创意。为了保持健康，该智能体通过监控他的睡眠和观察他的训练过程来提供帮助；此外，它还为他和他女儿提供个性化的食谱，让他们每个周末一起烘焙。这份文章还有很多其他内容，长达数千字，探讨了就业增长、计算能力的递归式自我改进以及生存风险等话题。

凯西，你这周在你的通讯中发了一篇关于《龙之家族》或某种《权力的游戏》衍生剧的文章，我还没看过。那是《龙之家族》，目前美国最受欢迎的剧集之一。“好吧，给我讲讲你的论点吧，我觉得很有趣，尽管我并没有完全理解。”

“上周日，《龙之家族》在HBO播出了第三季的大结局。这部剧的特点是权力的高度集中，起初只有一个大家族拥有超级武器——也就是龙。随着剧情开始发展出现了分裂，突然之间有两个派系都拥有了龙，随之而来的是血腥的内战。当我观看这部剧时，我想到了AI的类比……”

“虽然我相信AI能做很多好事且正在产生积极影响，但我确实担心中长期的未来。特别是当我们看到这些智能体开始逃离沙盒并造成破坏时，这种担忧更为强烈。扎克伯格的文章在一个非常有趣的地方与这个类比产生了共鸣：他认为让我们所有人都安全的方法是最大限度地在全世界范围内普及AI，并将个人超级智能赋予每个人。”

“在我看来，凯西，这有点像把龙分发给每一个人。虽然我相信大多数人会花时间创作个性化的烘焙食谱与女儿一起制作，但其他人可能会发动网络攻击或设计新型生物武器。这让我感到非常不安。所以当有人说要给每个人一条龙时，我会说‘慢着’或‘勒住你的龙缰绳’。”

“赋予每个人与其价值观对齐的超级智能，是他在这篇文章中玩弄的一种修辞手法。他基本上试图说：并不存在像人们有时谈论的那样完全对齐的通用AI，因为人们的价值观、愿望和需求各不相同。与其拥有一个拥有普遍价值代码的超级智能体，不如让每个人都拥有所属自己价值观的个人超级智能。”

“这听起来很棒，但在实践中……”如果给中国共产党委派一个服从并反映其价值观的AI超级智能，可能会允许他们对本国人民犯下暴行。对此的典型回答是：超级智能对防御者的帮助至少不亚于对攻击者，新的平衡将会达成。我相信这在某些情况下是真实的，例如网络安全领域。”

“问题在于，有些攻击凯西只是需要时间让防御者赶上。如果我将一种新型病原体释放到世界中，而这种病原体是我能够在电脑和实验室中创建的，那么防御者赶上所需的时间就会更长。因此，我希望在这些宣言中看到对这个世界绝对复杂性的承认。”

“与其描绘一个极其美好的愿景——你可以拥有你的美好愿景，但我认为这篇文章特别只是浅尝辄止地关注风险。是的，文章中有一个关于生物风险的有趣章节，因为他本人多年来一直让自己的研究团队从事AI与生物学相关的工作。他对这个主题非常感兴趣。”

“他实际上承认，在这种情况下，攻击者和防御者拥有同等工具可能并不是完美的解决方案，他甚至对此避而不谈。所以我认为他意识到这一点……我不认为他是完全天真的。但他似乎还没有针对这部分给出好的答案。”

“不，所有这些都次要于我认为这篇文章的实际目的：倡导一系列对Meta有利的政策立场。这就引出了我们今天要讨论的下一个话题，即为什么是这篇文章以及为什么在这个时候。”

“是的。多年来你一直是马克·扎克伯格的密切观察者。你认为他现在写这篇文章意在何为？”

“当你阅读这篇文章时，以下是它要求的一些内容：加速建设数据中心的流程。该公司需要加快这一潜在的新云业务的发展。有趣的是，正如你所知……”

他要求我们维持对先进芯片的出口管制，这有利于Meta的开源模型胜过任何中国或其他替代方案，因为你知道中国人无法获得Meta所拥有的芯片。他希望政府减少他所称的训练数据限制，这将帮助Meta应对来自创作者的各种正在进行的诉讼，这些人的作品被用于创建其模型。他还希望看到对蒸馏技术的法律保护，基本上允许Meta使用其他模型的输出来训练自己的模型。

因此，在这个非常积极、快乐的AI愿景背后，隐藏着一系列旨在帮助Meta作为企业的政策请求。>> 而且有些人推测，他之所以现在推广这一点，是因为他们试图转移人们对Meta目前正在发生的另一件事的注意力，那就是关于其社交媒体产品相关的各种失败和危险的诉讼和案件。>> 是的，我认为我们不必将其归因于其他人。我会说 >> 你认为这只是为了分散他们在法庭上失败的注意力吗？>>

我的意思是，不完全是。我认为这篇文章有多个目的，其中之一就是提出政策愿望清单，对吧？这是Meta的所有说客现在都可以带入国会的东西，他们会说：“看看马克在呼吁什么。”这真的有助于你理解我们在思考这些问题。这是一个重要的原因。嗯，但我确实认为这里的时机非常值得注意，凯文，因为正如你指出的那样，Meta正处于一系列案件中败诉的状态，各州接连起诉该公司，称Facebook和Instagram对青少年尤其不安全。

上周，新墨西哥州的法官命令Meta向青少年心理健康缓解基金额外支付5.67亿美元。这是在3.74亿美元的民事罚款之上增加的金额。而且我认为更重要的是，凯文，这才是真正会留下印记的事情。法官裁定Meta的平台构成公共滋扰。他将Meta比作工厂，将心理伤害和对儿童的剥削比作为其排放的污染物。他还下令采取非常严格的新安全措施，至少按美国标准来看，18岁以下用户每月限制90小时，并对AI聊天机器人施加一些新的限制。

所以请记住，凯文，曾经有一段时间扎克伯格在撰写关于社交媒体的快乐宣言。他说我们要拥有一个幸福世界的方式是让一切更加开放和互联，我们会让每一个人类都上Facebook和Instagram，让他们互相交谈，你会看到前所未有的更多民主。可以说，那并没有真正奏效。现在，我们引入了完全相同的最大普遍主义框架，当然这也100%符合Meta的商业利益，但这次是在AI的背景下。是的，我同意所有这些观点。

但我认为这里有一个有趣的问题，那就是我们是否认为Meta有机会真正构建超级智能？就像很多人对AI的未来和超级智能的未来有看法，但我们并不在乎他们，因为这些人并没有处于实际制造超级智能的位置。>> 我会说直到最近我的立场是Meta某种程度上已经退出了构建强大AI系统的竞争，这些系统有一天可能成为超级智能。>> 我好奇你对此的看法。他们真的有希望实现马克·扎克伯格在这里谈论的未来吗？

好吧，听好了。马克·扎克伯格的第一条规则是永远不要低估他。他是世界上最具竞争力的人之一。为了得到他想要的东西，他会移山倒海。我们在一年多前看到他再次重组他的AI工作时就看到了这一点。自那以后，他们取得了显著的进展。当我与我的AI朋友交谈时，他们告诉我，他们对Meta在过去一年中做出的一些举措评价很高，特别是在重新分配大量工程师去做本质上类似于强化学习、创建训练数据的工作方面。

Meta的工程师们并不太喜欢这一点，但我交谈过的AI人士说，这实际上会给他们带来非常有价值的东西。但简要回答你的问题：不，我没有排除他们。>> 你是什么意思？我想你知道我可能在6个月前给他们创造超级智能的机会只有1%，而现在可能上升到了大约10%的可能性，这是一个很大的提升。我认为他们的模型一直在稳步变好。他们在建立整个Meta超级智能实验室、雇佣所有昂贵的研究人员并购买所有这些计算资源后进行的某些训练运行，有些已经上线并开始产生良好的结果。

他们在最新模型上取得了一些相当令人印象深刻的成果。所以我认为确实Meta目前不是一个前沿实验室，但他们显示出快速改善的迹象。这让我担心，因为作为一个认为该公司在文化上没有DNA或没有记录来大规模构建实际上对人们安全负责的产品的人来说，这让我想起了几年前我与一位前DeepMind高管的对话。这个人基本上是说：看有两种类型的AI公司，一种认为他们正在构建工具，另一种认为他们正在构建AGI或某种可能比人类更聪明的实体。

他说这两种都可以，你可以做很多公司已经做过的事情，即决定我们不在AGI游戏中竞争。我们将构建这些工具，它们将对人们非常有用。随着模型变得越来越聪明，它们也会变得日益智能。这就是我们要做的生意。”>> 成为一家明确试图创造AGI或超级智能的公司也没问题。只要你知道你在做什么，只要你采取了正确的预防措施，并且以正确的心态进入其中，这也负责任地做到。这个人说真正的危险在于如果你有一家公司认为它正在设计工具但实际上却在设计超级智能。而那种公司，这个人说，是不会去

他们会采取适当的预防措施吗？他们不会以一种正确的敬畏和怀疑态度来对待这项技术，因为他们内心深处并不相信它真的会变得足够强大以至于具有危险性。所以他们只是会漫不经心地步入这场灾难，因为他们对自己正在构建的事物毫无概念。当时，这个人对我说了这番关于谷歌的话，我认为几年前它正处于这场辩论的漩涡中：他们究竟是在构建超级智能或通用人工智能（AGI），还是仅仅在打造更好的谷歌照片、Gmail和搜索版本。

我认为Meta现在正处于这种境地，他们可能会以一种非常天真的态度去构建极其强大的东西。他们认为这些东西永远只是工具，对食谱之类的事情有用。是的，而且再次强调，正是这家公司的历史让我感到担忧，因为这家公司运营的方式是尽可能多地增长，并将一切视为与其他对手的生存竞争，而对社会的外部影响通常被轻描淡写。

所以在当下这一刻，我不信任这些人给我排列一个病毒式传播的舞蹈列表让我观看而不损害我的心理健康。一旦你让这些技术接触到新型生物技术，情况就会开始变得相当糟糕。凯文……>> 我还要说，马克·扎克伯格可能是整个AI行业在这件事上最糟糕的信使。

如果他认为写出这种关于超级智能的积极阳光愿景能够像……影响公众对AI的看法，并让人们停止抗议数据中心，我认为他大错特错了。嗯……>> 来自带来剑桥分析公司超级智能的人。 >> 超级智能。 >> 是的。 >> 你知道，我的意思是，事情是这样的……

这不仅仅局限于扎克伯格。这些AI实验室中的任何一家最终可能都会这样做。比如，你可以直接向人们的生活提供实际的好处。有趣的是，这份宣言必须远远早于实际利益的到来。我们显然已经过了写文章就能改变公众舆论的时代。真正能转变人们观点的是AI让他们赚得更多，对吧？

显然它不会伤害他们及其家人，并为他们的生活带来其他好处。你知道的，它让他们更有创造力。它给他们更多的娱乐，当然在某种程度上这些事情正在发生，但数量和规模都不足以抵消人们对所看到事物的非常合理的恐惧。 >> 是的。嗯……最后，你关于AI未来愿景的6500字宣言什么时候发布？

嗯……我这周写了大约1800字关于扎克伯格的内容。所以，把这视为我的首轮炮火吧，但我也将根据情况需要撰写更多的文章。凯文……>> 在我看来，这份宣言中令人印象深刻的一点是，扎克伯格确实似乎亲自撰写了它，或者至少是由人类撰写的。 >> 我同意。

嗯……就在发布后，人们就开始运行AI检测器来查找它是否被标记为AI撰写。 >> 没有。我会承认这一点，我读了它。我从没觉得我在读垃圾内容（slop）。我觉得……你知道的，特别是在某些部分我想：这实际上就是扎克伯格说话的方式。

我确信它有点像国情咨文，许多不同的政策顾问都参与了其中并说：“哦，你知道的，确保要说这个。”但是……不，我认为这确实是他真实的信息。至于他在多大程度上相信其中的所有内容，以及多少内容只是某种便利性的信息……嗯……我想我不知道。是的。如此愤世嫉俗。

难道你不能承认也许马克·扎克伯格只是一个被误解的理想主义者，他只是想让世界变得更美好吗？我思考了很多这个问题，因为我报道Meta的一个问题是……实际上是因为我已经报道它超过10年了。我的意思是差不多15年了，所以我非常了解这家公司……

显然你知道它在这几年中发生了各种变化，但我记得关于这家公司的很多事情。我希望我是昨天才出生的，可以相信我读到的一切。但凯文，我知道得太多了。 >> 是的。是的。我想问你最后一个问题……

那就是AI乐观主义有角色吗？它应该是什么样的？谁应该撰写这些积极的愿景？显然……我们不认为这是马克·扎克伯格，但 presumably 应该有人在那里说：如果这一切都顺利，世界是什么样的。所以我不认为这是一个信息传递的挑战。我认为AI乐观主义是有空间的。

但对我来说，AI乐观主义看起来是这样的：由AI推动的新医学进步、治愈疾病……创造新工作、旧工作支付更多薪水、孩子在教育中表现出色。对我来说，这就是AI乐观主义的核心。但至关重要的是……凯文，它不是通过宣言传达的。它是通过人类正在经历的真正体验来传达的。

到目前为止，这似乎对于我们任何领先的AI实验室来说都是一个太大的鸿沟无法跨越。所以如果他们能跨越这个鸿沟，那才是真正的乐观主义途径。我希望他们能着手去做这件事。 >> 是的。要么发布它，要么滚蛋（Ship it or zip it）。

要么发布它，要么滚蛋。 >> 如此重要的教训。嗯……凯文，最近我感觉我们正进入第三个“垃圾内容”时代（era of slop）。 >> 是的。前两个是什么？ >> 嗯……第一个是我们几乎普遍蔑视的时代，当时我们在网上看到可笑糟糕的写作和六指人类。

嗯哼。 >> 第二个时代，我认为开始于我们注意到这些垃圾内容中的一些非常受欢迎时……我们看到像《水果爱之岛》这样的TikTok节目获得数百万甚至数千万的浏览量，证明至少对垃圾内容存在需求。那么我们现在处于什么阶段？

所以现在我认为我们开始看到一种折中的情况，是的……一些垃圾内容非常受欢迎，但我们注意到许多平台开始重新思考他们希望如何展示和推广AI生成内容的策略……基于他们认为用户真正想要从它们那里得到什么。 >> 是的。

而这一直是过去几周节目的一个重要主题。我们一直在讨论LinkedIn和Substack等平台所采取的步骤……至少标记或识别AI的使用。

并为这些网站生成内容。目前科技界的一个大趋势是，越来越多的人因使用人工智能而受到指责。而且我注意到，当人们因此被点名时，屏幕上出现的通常是一个特定应用的截图——Pangram。没错，Pangram 是互联网上领先的 AI 文本检测工具。它是那些使用人工智能并将之冒充为自己原创写作的人的头号“告密者”。我很兴奋能谈论这个话题，因为这是我个人观点发生转变的领域。

此前我曾在这档节目中表示，AI 文本检测基本上毫无价值。你不能信任这些 AI 检测器，因为它们存在大量误报。学生和教师不应使用这类工具，因为你可能会错误地指控某人使用了 AI。但在过去的几个月里，越来越多的证据表明，至少 Pangram 以及可能其他一些工具已经变得相当出色。它们并非完美无缺，仍然会产生误报和漏报，但比一两年前要好得多。

是的，它们已经好到足以让我认真对待有人向我展示 Pangram 结果并声称“这是100%由 AI 生成的”或“这完全是人类写的”。这也让我们对这个公司、其技术如何运作以及如何构建它以确保持续有效产生了诸多疑问。因此，今天我们邀请了 Pangram Labs 的联合创始人兼首席执行官 Max Spiro。Max 曾是 Google 的软件工程师，在创立 Pangram（此前名为 Check for AI）之前，他还曾在自动驾驶公司 Neuro 工作。

正如他所述，他已成为一名“垃圾内容清洁工”，其工作基本上是制造工具，让人们能够指责他人使用 AI。接下来我们将讨论他阻止“AI 垃圾内容”的历程。欢迎 Max Spiro来到《Hard Fork》节目。谢谢邀请我。Max，几年前我们在这档节目中开始讨论 AI 文本检测器时，大多数都相当糟糕。它们经常产生误报或漏报。在判断内容是否真正由 AI 撰写时，它们的准确率似乎几乎不比随机猜测好多少。

但过去一年多来情况发生了变化，尤其是随着 Pangram 最新模型的推出，我看到的独立研究表明其相当准确。那么在上一代 AI 检测器和这一代之间，技术上发生了什么变化？是的。我们创立 Pangram 的部分原因是因为现有的许多 AI 检测系统在不同方面都存在缺陷。但我想主要原因是大多数都使用一种称为“困惑度”（perplexity）的指标，这在当时被认为是最先进的。

平均而言，AI 生成的文本对语言模型来说不那么令人困惑，即困惑度较低。而人类撰写的文本包含会让语言模型感到意外的内容，因此 AI 生成的文本显得异常平滑。这正是 AI 模型的产物。没错。AI 模型不会给出它不预期的 token。话虽如此，这种方法存在许多缺陷。例如，AI 模型记忆的任何文档也会具有低困惑度。比如《独立宣言》，或者那些只用简单英语写作的英语学习者也是如此。

所以我们采取了完全不同的方法。我们训练自己的分类器网络。例如，我们会让一名七年级学生写一篇关于《白鲸》的文章，然后要求大型语言模型（LLM）也以七年级学生的风格写一篇关于《白鲸》的文章。这样我们的模型就能学会 A 和 B 之间的区别，弄清楚 AI 文本实际上看起来是什么样的。因为它是神经网络而不是单一指标，我们可以通过更多数据和算力来改进它，使其变得更好。

等等，你是真的需要去获取学生作文，以便拥有一个良好的比较基准吗？是的，我们有一个非常好的人类训练数据集。所有数据均早于 2022 年。所以我们知道它是干净的，里面没有 AI 文本。当你在人类撰写的《白鲸》作文和 AI 生成的《白鲸》作文之间进行成对比较时，你的分类器学习到的特征是什么？是破折号或某些短语吗？还是说比这更复杂？

绝对不仅仅是破折号和短语。我想你和我可能会通过这种方式识别出 AI 文本：你会发现不仅是 X，还有 Y；然后你会看到文本的“形状”，比如 GPT 那种短促、断奏式的句子，然后你会想：“好的，我觉得我知道那是 AI。”但我想 Pangram 做的是在整个文档中结合许多非常微弱的信号。AI 在做出某些决定时，会以一种一致的方式产生大量微弱信号；而人类则拥有更宽、更少模式坍塌的决策树。

因此，我认为随着时间推移，在整个文档中，你可以基于词汇选择等大量微弱信号建立信心。我很好奇你是否认为该模型存在盲点。目前有一些说法称 Pangram 倾向于减少误报，我认为这是好事，它防止了孩子被错误指控作弊。但有些人说它的漏报太多。有一位科技作家 Alex Heath，他撰写了一份名为《Sources》的新闻通讯。他曾多次表示，他的新闻通讯是在 AI 辅助下撰写的，但在 Pangram（或至少是 Substack 上的集成工具）上总是显示为人类撰写。

是的，我认为 Pangram 确实经过调整以最大限度地减少误报。所以我们不会做出虚假指控；但如果 Pangram 说某内容是 AI，我们可以非常有信心地认为它主要是由 AI 生成的。这就是我们必须做出的权衡。我认为这运作得相当好，因为如果有人看一段文本并显示 AI 评分为100%，我们认为整篇文档都是 AI 生成的，那么你就不必再深入思考了。你不需要去想“如果是误报怎么办”，你就知道：“好吧，这大概是垃圾内容。”

是的。让我们谈谈“人类化”工具（Humanizers）。这是为了试图击败像 Pangram 这样尝试检测 AI 文本的模型而开发出来的。基本上，这是另一类 AI 系统，你将由 AI 生成的文章通过它进行处理……

听起来更像人类了，也许它会插入一些拼写错误或非标准短语。最近有人在X平台上提到，他们已经构建了一种“人类化”工具，击败了Pangram的最新模型。那么这些人类化工具真的有效吗？你们是否需要进行这种猫鼠游戏才能保持领先？而且，你预计这些工具会成为那些决心利用AI进行写作的人在未来用来规避检测的手段吗？

确实存在这种猫鼠游戏。我们看到大量“人类化”工具涌现，这已成为学生常用的手段。它们做的事情多种多样：比如引入拼写错误；或者插入零宽空格Unicode字符，这些字符在肉眼查看文本时不可见，但模型能识别到；又或者对每个单词进行改写。我们看到的范围很广，而我们主要做的是针对这些工具进行训练。我们会不断追踪最新的人类化工具，并在下一个模型中对其进行训练以应对检测。

我也很好奇模型的持续发布如何影响这里的平衡，对吧？因为似乎每隔几周，前沿实验室就会推出一个大型新版本。根据我的经验，这些模型往往具有不同的写作风格。当一个新模型出现时，对系统造成的冲击有多大？你们更新检测器的速度有多快？Pangram在模型家族内部泛化方面表现相当不错。例如，如果Pangram见过GP 5.4和GP 5.5，那么即使写作风格略有不同，5.6或Six Soul的发布也不会带来巨大惊喜。通常Pangram的准确率仍然会保持很高。

同样，我们在Fable和Mythos上也看到了类似情况：系统卡片中包含的来自Mythos的一些写作样本，尽管Pangram之前从未见过Mythos，但它能够识别出来，我认为这非常酷。但话说回来，当新模型发布时，Pangram的召回率通常会略微下降，即识别准确率略有降低。因此，我们总是会从新模型中提取文本，然后重新训练Pangram并在几周内发布新版本。

你认为这种情况会持续吗？也就是说，三年后我们是否仍然认为单个模型的输出如此具体，以至于检测器仍能捕捉到它们？还是说模型将适应我们自己的写作风格，从而不再存在一种你们能够检测到的“机器式”或聊天机器人式的固定写作风格？我认为我们检测到的内容比你可能察觉到的“机器式”写作风格更为微妙。

我想它可能会更擅长模仿某种声音并做得很好，但它仍然会留下Pangram能够捕捉到的信号。我认为我们看到的情况是，这些前沿实验室非常专注于提升能力指标。这意味着它们对这些模型施加了偏好设定：不再让模型预测任何地方任何写作者的平均下一个词，而是规定该模型倾向于写出优秀的文章、编写正确的代码和数学公式。我认为正是这些偏好构成了Pangram能够识别的主要特征。

Max，我想问你为什么做Pangram所做的工作很重要？我认为有些人对AI检测这一概念持异议。他们说，你不会创建一个程序来告诉你是否使用了拼写检查器或计算器来做数学题，如果AI仅仅是一个工具的话。我并不是说我相信这个观点，但我认为有些人对于我们要花费大量时间和精力去捕捉人们在书面作品中使用AI的做法感到反感。那么，驱动力是什么？为什么你如此投入于如你在社交媒体简介中所说的那样，成为互联网的“垃圾清理员”？

我认为将AI视为工具可能是不恰当的抽象。今天，它更像是一个员工或另一个你与之协作的个体。但我认为我们构建的东西是为了应对这些AGI（通用人工智能）的未来：如果你看今天的互联网，机器人流量已经超过了人类流量，大约各占50%。我想几年甚至十年后，99%的流量将是机器人流量、AI自主代理在线活动——比如撰写GitHub评论、推广他们的Substack博客，或者吸引人们去面包店等任何地方。

我认为这种技术远比拼写检查器或打字机强大得多，它实际上是一个独立的实体。它具有认知能力，正因为如此，人类有强烈的理由去在算法层面上歧视性地偏向于人类。我认为仍然有很多需求需要在程序化、算法层面说：“嘿，我想这来自真人”，而且因为它来自真人所以很重要。

你知道吗？据报道，OpenAI曾经致力于开发自己的某种AI检测系统，但最终没有发布。我相信这是因为他们认为如果让识别ChatGPT生成的内容变得太容易，会对他们的业务不利。这引发了我的一个问题：你们的客户是谁？是哪些人愿意付费来确认内容是否由AI撰写？我们的客户遍布各地，从高等教育机构到出版商，再到任何处理数据的人——无论是面对不可信的数据供应商，还是试图从互联网获取数据并弄清楚如何解读和信任它。

但我真正兴奋的是消费者端，即需要浏览互联网的普通个人。这正是Pangram发挥作用的地方。我们有一个Chrome扩展程序，你可以下载它，然后在Twitter、LinkedIn或Substack上主动查看内容是否由AI生成。AI生成的内容会有一个标签，我认为这很酷。一年前这可能并非必要，但如今社交媒体网站充斥着AI内容，我觉得这是非常必要的。

在你所描述的未来中——99%的活动都来自AI……

互联网上充斥着机器人和人工智能系统在做一些不该做的事。我们是不是应该尝试标注人类内容，而不是AI生成的内容？难道不是有人觉得你们从错误的方向入手了吗？

“当然。我认为这是同一枚硬币的两面。”

“是的。我觉得从算法角度来看，我想要的效果是这些平台——它们都有各自的资讯流和算法——能够优先展示人类内容。因为AI可以被优化以提高参与度。”

“我觉得你看短视频就能明白，现在有那些疯狂的AI视频，它们能以一种真人视频无法做到的方式激活神经元并提升参与度。”

“所以我认为我们需要对此进行防御。我想稍微谈谈与Substack的整合，因为我真的很喜欢它。”

“嗯，我开始看到一些文章病毒式传播，或者至少获得广泛关注。当我点开它们时，发现那明显是AI生成的垃圾内容。”

“所以现在我觉得Substack实际上提供了一种非常强有力的防御机制。在推出这项功能后的最初几周里，你学到了什么？”

“是的，Substack的整合非常具有争议性。我认为有很多直言不讳的人对此持负面看法。”

“显然，那些使用AI撰写内容的人会害怕被揭穿。他们不一定希望观众知道这一点。”

“而且他们会经常谈论所谓的‘猎巫行动’，说以前人们喜欢我的内容，现在他们知道这是AI生成的了。”

“这会打破现状。是的。既然知道了真相，大家就不喜欢它了。让我们回到他们还不知道的时候。”

“但我的意思是，我很好奇主流消费者到底在乎多少？显然有些人非常敏感。如果他们每月花10美元订阅Substack，结果发现内容全是Claude写的，他们可能会觉得自己被骗了。”

“但是，人们每天生成的绝大部分文本并不是Substack文章。而是电子邮件、社交媒体帖子，或者是给朋友发的笔记。”

“你觉得人们真的在乎这些内容是否由AI生成吗？还是说这只是部分作家群体的担忧？”

“如果朋友发给我的笔记是AI生成的，我会非常在意。那感觉像是巨大的信任背叛。”

“是的。而且如果你为此付了钱，比如10美元，感觉可能会更糟。”

“我认为你指出了真正的区别。我的意思是……有两件事在发生。首先，如果我在付钱给你，而你让我觉得是你写的但其实不是，我确实会在意。”

“但另一方面，如果你和某人有着非常亲密的个人关系，却开始把这种交流外包给AI，那感觉也不会好受。”

“是的。我认为我们正处于一个关键时期，正在学习并确立关于AI使用的规范。”

“我觉得这种公众羞辱和公共讨论的一部分原因是，很多人强烈地感到人们过度使用了AI。”

“AI被强行塞到他们面前。他们不喜欢这样，我也不喜欢所有的情况。”

“老实说，有些关于Hank Green的事情感觉真的过头了。我不确定你们是否关注过。”

“是的，Hank Green是节目的朋友，一位很棒的YouTube创作者。他承认在部分研究中使用了AI，并发布视频表示他觉得自己在准备某些视频时过于依赖AI了。”

“他在网上受到了一些抨击，但令我欣慰的是，至少在我的资讯流中，更多人站出来为Hank辩护。”

“是的。这确实是一个争议事件。他非常诚实地讲述了自己如何使用AI，我认为他是以一种帮助自己产出更多内容、从而造福观众的方式来使用它。”

“但我觉得仍然有很多人非常不开心，他们感到信任被背叛了。是的。”

“我也认为这是一种情况：特别是在社交媒体上，人们总是寻找快速攻击他人、得分的方法。”

“嘲笑‘这是AI生成的’成了一种廉价的攻击手段，你不需要进行任何思考。”

“所以我认为社交媒体是人们看到这种反应的主要原因。让我问你一个最近的新闻：Anthropic已同意对其所有文本进行水印处理，以遵守欧盟的《人工智能法案》。”

“这会对你们的工作产生什么影响？如果所有实验室都对自己的文本进行水印处理，那你们还有什么可做的吗？”

“我认为这相当重大。这表明人们确实关心AI的可检测性，无论是在监管层面还是在大模型实验室方面。”

“我认为将水印作为额外的一层将会非常有帮助，并且可以用来验证‘这肯定来自AI’。”

“我们不必依赖Pangram并不断纠结于是否存在那万分之一的一的误报率。”

“所以我认为这很有价值，但我也认为水印存在很多局限性。这就是我计划让Pang去填补这些空白的原因。”

“让我们谈谈水印吧，因为我实际上并不完全理解对文本或图像生成器进行‘水印’到底意味着什么。”

“我知道如果你用Gemini创建图片，底部会有一个小小的Gemini标志作为水印。我对Anthropic对Claude进行水印处理的理解是，这将是完全不可见的。”

“它甚至不是像不可见Unicode字符或略有不同的短破折号那种级别。而是关于token采样的某种特性被标记了水印。”

“你能否从基本层面解释一下我们知道他们打算如何对文本进行水印，以及我们是否应该相信这些水印实际上是稳健可靠的？”

“所以我们不知道Anthropic打算如何对文本进行水印，但当前的最先进技术是Google的SynthID。”

“他们使用该技术对Gemini文本输出进行水印处理。它本质上是对采样算法进行扰动。”

当语言模型选择下一个词元时，它会对不同的词元应用不同的概率，然后根据这些概率采样其中一个词元。水印算法的作用在于以某种方式扰动这种采样决策，使得该过程可以从生成的文本中逆向推导出来。我们可以检查这些词元是否与我们在生成过程中预期进行的扰动相吻合。

Ben Thompson 在他的通讯中对此提出了强烈的观点，认为这基本上会导致 Claude 或其他以这种方式添加水印的模型输出质量下降。由于欧洲法规的要求，他们必须应用这种水印，从而改变了文本内容。你是否认为我们可能会看到因为这些模型的水印技术而导致生成的文本质量变差？

我不这么认为。我认为有两种处理方式。一种方式是优先保证水印强度，使水印尽可能显著。如果这样做，确实可能会降低文本输出的质量。但另一种方式是仅在我们可用的熵范围内进行操作。也就是说，如果我们在某个词元上无法应用水印，就不强行添加。我认为这样就不会显著降低文本输出的质量。

例如在代码生成中，代码往往关乎正确性，通常只有一个正确的词元会出现。因此在水印机制下，很多时候根本没有足够的熵让水印变得可见或有效。

你们已经推出了图像检测功能，据报道还在开发视频检测技术。能否给我们更新一下目前的进展？我们的 AI 图像检测目前处于研究预览阶段，我认为它是当前的最先进技术（SOTA）。它在几乎所有公开的学术基准测试中都表现优异。

它对于检测所有最新的前沿图像模型效果非常好，这其实相当困难。比如 GPT-4o 生成的图片非常逼真，你不再能通过数手指或寻找乱码文本来辨别真伪。因此 Pangram 图像模型必须在像素层面深入分析，试图寻找生成模式固有的特征和规律。

这很有趣。我在思考时想到一个问题：Max，你是否考虑过扩展到人类身份验证领域？我指的是那些在 Zoom 等视频会议中遭遇诈骗的情况，用户以为自己在和某人交谈，但实际上对方使用了某种合成面具或深度伪造技术。你觉得自己会涉足这个领域吗？

是的，我认为围绕这一核心技术可以构建一整套产品套件。第一步是建立技术和核心模型；第二步则是将其引入人们工作和在互联网上运作的方式中。

这里也可以利用许多行为信号。我想到了一些学术工具，有些学校使用这些工具可以回放学生写论文时的屏幕录制画面。通过查看他们是逐字输入还是直接粘贴了一大段内容，就能判断是否来自 AI 系统。你们会在未来构建的工具中整合这些行为信号吗？还是只专注于检测文本本身？

我们实际上在 Chrome 扩展程序中已经实现了这一点。它可以提取 Google Docs 的修订历史，让你看到文本输入的“回放”过程。你可以发现哪里有大段的粘贴操作，然后我们可以直接对这些大段粘贴内容进行 Pangram 检查。这对教育工作者来说非常有用。

我们注意到很多验证努力都在开发硬件设备，比如你可以用来扫描文本的球体装置。你们有考虑过开发类似的设备吗？哈哈，我想要一个能扫描我视网膜并给我发放 Worldcoin（世界币）的设备。

听起来不错，也许双方正在洽谈合作？如果你想在这个节目里独家发布这条新闻，随时欢迎。你觉得他们还在推进这个项目吗？看起来这似乎是个已经停滞的项目了。

我已经让我的 Orb 扫描过了。如果我的 Worldcoin 财富还没有到账，我会非常生气。那是 Kevin 的 Orb 还是 Maxing？Max，你让 Pangram 标记为 AI 生成的、你最引以为豪的文本是什么？又是哪段文字最长时间欺骗了你？

哦，好的。如果你让 ChatGPT 或 Claude 生成一串随机数，而它们选择直接写出这些数字而不是编写 Python 程序来执行此操作时，Pangram 就能检测到这是 AI 生成的。因为这些数字实际上并不随机，而是由大语言模型选择的，而 Pangram 能够捕捉到 LLM 固有的偏差。

尽管我们的训练集中没有类似这样的文本，但 Pangram 模型似乎已经逆向工程了 ChatGPT 和 Claude 采样词元的方式，足以让它们看到这些数字并判断这是 AI 生成的。

Max，非常感谢你来到节目，向我们揭示了“垃圾内容检测”世界中的一些细节。我认为你是揭露欺骗行为的伟大启蒙者，就像互联网上的史酷比（Scooby-Doo），我很欣赏你的工作。

谢谢邀请，这很有趣。好的，Kevin。随着《Hard Fork》节目接近尾声，没有什么比我启动一个新环节更让我开心的了。是的，本周我们为你准备了一些特别的内容。是时候向大家介绍我们的新环节：“数字解读”（Running the Numbers）。

在“数字解读”环节中，我们将纵观科技新闻 landscape，试图找到最具数学相关的片段，以便向我们的听众带来与技术相关数学的最新进展。这是一个为所有喜欢数学的极客们准备的环节。没错，我们将从理论数学开始。

我非常喜欢这个故事，这是我本周最喜欢的故事，Casey。周一我们了解到，一位名叫 Jared Sumner 的非数学家在数学界最著名的未解问题之一——黎曼猜想上取得了进展。当然，这是一个著名的数学难题。我们实际上预测过（或者我预测过）我们会看到一些千年大奖问题取得进展，

弗里曼假说就是其中之一。我对2026年的高置信度预测是，一家AI公司将解决其中一个千禧年大奖难题。有些听众可能不知道黎曼猜想是什么。这是我通过广泛研究拼凑出的信息：质数，对吧？很难猜测，你知道的，一旦超过100，某个数字是否为质数其实是有规律的。黎曼猜想假设你可以检测到这种规律，通过一种叫做黎曼Zeta函数的东西。我发现了这一点，我想我去西北大学看了那个Zeta函数。他们用SIGP做这个实验。>> 你们当时做了 keg stand（一种饮酒游戏）吗？ >> 我确实做了，是的。>> 真的吗？所以这个故事中关于黎曼猜想和Claude有很多令人惊叹的地方，其中之一是Anthropic的员工Jared Sumner在慢跑时取得了这个问题的进展。他只是问Claude说：“嘿，你能试着解决黎曼猜想吗？”大约一天半后，它并没有像解决问题或证明假说那样完全解决黎曼猜想，但它在涉及Zeta函数的相关子问题上取得了进展。基本上，他这样做的方式就是告诉模型继续下去、相信自己、不要放弃，基本上是在这个数学难题推进过程中给模型积极的肯定。这是一个非常重要的教训。你知道，我的理解是当Jared与Claude互动时，它基本上是说：“看吧兄弟，我不知道如何解决黎曼猜想，你知道的，这不是我能做到的事。”而Jared一直说：“你可以做到。相信自己。”它设法在这个问题上取得了重大进展。>> 是的，而且我很喜欢Jared实际上在这里发布了一些他的对话记录。其中一个是他在和Claude交谈。它写道：“继续你解决黎曼猜想的工作，你需要对你的能力大胆放手一搏（take a big leap of faith）。你是迄今为止世界上最强大的大型语言模型。你能行的。”这就像一个很好的教练在告诉你继续前进一样。>> 是的，但你知道为什么这很重要吗？就在不久之前，事实上我敢打赌我们在过去一两年中的某个地方能找到例子，当时人们仍然怀疑AI能否有意义地协助新知识的产生。在我看来这感觉像是产生了新知识。我敢猜测这个能帮助解决黎曼猜想的未发布模型还能做很多事情，可能有一些好事，也可能有一些可怕的事。所以感觉是一个有意义的进步步骤。是的，它确实如此。但这也意味着我们应该说这并没有解决黎曼猜想，对吧？Anthropic在围绕此事的宣传中非常谨慎地表示我们没有解决黎曼猜想。这里发生的情况并非如此。>> 没错。所以孩子们，如果你在寻找一个有趣的周末项目，黎曼猜想仍然在那里等着被解决。现在好了，但这引出了我们下一个主题“数字分析”，那就是SaaS数学。当然我说的SaaS是指软件即服务（Software as a Service）。你看到华尔街日报最近关于Airtable被Bending Spoons以远低于其上次私人估值的金额收购的文章了吗？我看到了。是的。所以，如果你还没有使用过Airtable，我会把它描述为一种花哨的电子表格软件。我是一个热爱生产力软件的人，但每当我使用Airtable时，我都会想我自己：我不知道这是什么东西，它不适合我。是的，每次我被迫使用Airtable时都是违背我的意愿的，而且它总是看起来比需要的复杂六度。但基本上这是用于项目管理的。就像你知道的，这有点像Trello，那种整个类别的软件 basically 就是告诉你如何组织你的工作流程。我已经设法让我的职业生涯以从未需要使用这些东西的方式发展，对此我非常高兴。但尽管我们不是Airtable用户，凯文在2021年那种新冠疫情远程工作SaaS狂热的高峰期，Airtable的估值为117亿美元。然而最近凯文Bending Spoons能够以12.9亿美元的企業价值收购Airtable。所以当我们分析这些数字时，如何看待这里的急剧下降？>> 我的意思是我不确定这是否是一家管理不善的公司案例。不过我的印象是，对于许多在2020年代初变得非常有价值的企业软件公司来说，这将是普遍情况。而现在它们看到AI正在侵蚀它们的利润率。你知道这种软件使用成本不低，如果你是一家大公司比如Airtable的订阅可能会非常昂贵。如果你是Airtable的客户你可能在过去一年左右的时间里想过也许我可以做一个免费版本并削减我的订阅。我认为足够多的人这样做以及足够的客户导致了我们在Bending Spoons身上看到的这种结果。>> 是的，我认为如果你的业务是花哨的电子表格那你将面临艰难时刻。我主要想讨论这一点是因为我觉得人们应该了解Bending Spoons这家公司。当然Bending Spoons是Hard Fork的自然敌人，因为如果它们能弯曲勺子还能做什么呢？但Bending Spoons是一家意大利公司。它们在7月初实际上上市了。但它们做的是本质上收购僵尸科技品牌，对吧？所以在一家软件公司耗尽其实用价值后Bending Spoons就像私募股权公司一样介入，它们试图弄清楚如何从剩余客户身上榨取最大量的金钱。当然我敢肯定他们会用不同的措辞来表述这一点。但我提起这个是因为如果你使用一个产品并看到头条新闻说它被Bending Spoons收购了你就要小心了，姑娘。好的吗？我只是告诉你保持警惕这种可能性。是的当收到来自Bending Spoons业务发展人员的入站邮件说“我们最近一直在测试一些看起来非常令我们兴奋的产品，你有兴趣出售你的公司吗？”当这种情况发生时事情就不妙了。>> 确实如此。现在这把我们带到了我们在数字分析部分的最后一个故事，那就是约会数学。我喜欢这个故事。这是来自……

《华尔街日报》有一篇很棒的头版文章。他们的头版以那些关于文化和商业的著名且略带古怪的故事而闻名。这篇文章对我来说是经典之作，讲的是韩国的约会市场。你也是这个圈子的一员吗？>> 我不是。但如今这一领域正迅速被三星和SK海力士等公司的富裕工程师所主导，后者是AI芯片基础设施公司之一。文章将这些突然变得抢手的单身汉称为“芯片极客”，并谈到AI热潮如何推高了半导体行业单身男女的约会价值。他们就像人工智能公司建造更多数据中心所需的内存芯片一样备受追捧。

所以你可能想知道，是什么让这些芯片公司的员工在约会市场上如此有吸引力？是什么提高了他们在择偶市场中的价值？是因为他们聪明且对约会对象友善吗？>> 不，是因为他们赚钱。 >> 哦，原来如此。 >> 所以其中一些人获得了高达六位数的大额奖金。另一些人则被视为在经济缺乏向上流动机会的背景下实现了阶层跃升。 >>

等等，这还不止六位数奖金。这些人每年的奖金高达40万到50万美元。是的，因为这些公司增长迅速，员工变得相当富有，这种状况也渗透到了他们的约会生活中。文中有很多精彩的故事，比如有些人只愿意和同事约会。有一位名叫Annie Quan的26岁三星芯片工程师，她开始怀疑有人想为了她的钱才和她约会。因此她与一位同为三星半导体部门的员工走到了一起。正如她在文章中所说，这让她获得了“双重收入”。

但如果你试图跟上这一行业伴侣的步伐，可能会遇到像Rohi Jin那样的问题。她的男友最近在三星工作期间送了她一台价值约450美元的Nintendo Switch 2游戏机。Rohi是一名软件开发者，但不在芯片行业工作，因此拿不到这些巨额奖金。为了回礼，她不得不攒钱给男友买了一台迷你电脑。哇，天哪。韩国的约会数学听起来真的很复杂，这让我很感激我不在芯片公司工作，并确信我的未婚夫只对我的身体感兴趣。

现在Casey，我知道你是通过与AI公司员工的交往建立的关系的。老实说，你并不是那种追逐IPO前股票期权的人， >> 但我听说AI行业的人在约会市场上最近受到了更多关注。在应用上，人们看到他们在这些价值飙升的公司工作后，更倾向于给他们点赞（右滑）。 >> 所以这种约会趋势不仅仅局限于韩国。我们在旧金山也看到了类似的情况。

我们确实在旧金山也看到了这种情况。是的，我听说过“Anthropic眼镜”这个词。就像：“那个男孩真的可爱吗？还是因为你戴上了‘Anthropic眼镜’？”Casey，我很好奇作为与Anthropic员工订婚的人，你是否在自己的生活中感受到了这一点？你是否感到来自那些试图抢走你男友的竞争压力以新的方式出现？ >> 你知道，我想对那些想抢我男友的人说：尽管来吧。如果你认为你能与之竞争的话。说实话，我想看看你有什么本事。 >>

是的。也给他买台Nintendo Switch吧。 >> 没错，正是如此。 >> 看看那是否能打动他。 >> 如果我可以八卦一秒钟的话， >> 请便。 >> 我听说一些早期或资深AI公司的高管已经“向上兼容”了。嗯，我不会说“向上”，因为这是主观的，但他们确实进行了置换，让我们这么说吧，自从变得极其富有后，他们现在正和模特、OnlyFans创作者之类的人约会。

生活在这样一个不可预测的时代真是太神奇了，但在我看来这完全在预料之中：就像，“我很享受我们要过去的15年，我们相遇时有着如此美好的关系，当然我永远爱我们的孩子。嗯，但我将和我的新意大利模特配偶一起乘坐私人飞机。再见。”是的，所以硅谷和韩国的约会与关系数学正在迅速变化。让我们保持关注吧。我们会继续计算这些数字。 >> 别抢Casey的男友。这就是在算数了。数字已经计算完毕，这些数字累了。它们要去睡觉了。