图片可以进行水印处理以用于版权保护。现在听好了,Claude AI 宣布他们正在对其生成的文本进行水印处理。从什么时候开始?何时启动这项措施?Anthropic 目前正在推出这一功能。是的,我谈论这个并不是因为我同意这种做法,而是我认为你们各位学者有必要了解此事,以便向公众提供信息。因此,这段文本是被水印化的。等等,什么?(笑声)你可以通过在图片上添加标志来为图像加水印。但是文本,该如何给文本加水印呢?是在其中插入隐藏字符吗?不完全是这样。这篇论文描述了一种在文本中嵌入指纹的技术,这种指纹对人类来说是不可见的,但机器可以检测到。它甚至能幸存于复制粘贴和一些编辑操作之中。稍后我会告诉你什么情况下它会失效。
在生成文本时,人工智能会决定下一个词应该是什么。可能会有几个候选词。在这里你可以说“我看到了一只狗”、“一只小狗”、“一只猫”或“一所房子”。根据上下文,每个词被选中的概率不同。现在,使用指纹算法秘密地为每个单词分配颜色。有些是绿色的(首选),有些是红色的(非首选)。接下来有点偏袒了,哇哦。如果非要说的话,这是一种作弊行为。在选择下一个词时,绿色的词会得到一点向上的推动力。它们出现的频率会稍微高一些。那么如何检查一段文本中是否有水印呢?知道红色和绿色单词的人只需计算其中有多少个绿词。这种方案具有一个数学属性:随着你看到的绿色单词越来越多,它是真实人类文本的概率就极小。如果在一段话中发现了 21 个绿词,那么由人类完成这件事的概率就会变得比中彩票还要小得多。
请注意,绿色单词可以是任何东西,无论多么不显眼,所以你无法察觉它们。哪些词是绿色的也可以随时间变化。哎哟。这是该算法的简化版本。他们可能使用的是 SynthID 变体,它具有上下文依赖的概率和锦标赛系统。但我阅读的大多数研究论文中,算法的核心是相同的:某些单词受到青睐并在生成过程中获得轻微优势,从而创建独特的指纹。现在关于这一点有很多误解。第一点:Claude 生成的文本无法追溯到你个人,但它表明整篇文章是由 Claude 撰写或经过重度编辑的。我不同意这种说法。我做这个视频是为了让每个人都知道,只有当知识触达人们时才能改变世界。
第二点:有人说只要编辑几个词就能清除水印。不,没那么容易摆脱它。那么你能消除它吗?亲爱的学者们,这是由 Koa Eher 博士带来的两分钟论文。进行轻微编辑的话不行。如果你重写整篇文章,替换每一个词,是的,你可以消除它。一个为你服务的开源权重大型语言模型也能提供帮助。那么,谁能检查文本中是否有水印呢?不是你和我。一些符合条件的组织可以检测,但目前仅此而已。那么解决方案是什么?当然,使用免费且开源权重的 AI 系统并自行运行它们。这些系统是为你服务的,而不是与你作对。(音乐)这就是学者的道路。我们需要为大型语言模型时代带来新工具,Weights and Biases 现在推出了 Weave,这是一个轻量级工具箱,可让你自信地迭代大型语言模型应用。使用追踪功能调试数据如何在应用的每个步骤中流动,并使用评估来衡量你的进展。这是最好的工具。立即在 wnb.me/papers 或点击下面的描述链接尝试。