如果人工智能记住一本书的最佳方式是停止阅读它，会怎样？你看，AI 读取的每一个字都会变成 token（令牌），而 token 是很昂贵的。书越长，AI 处理起来就越吃力。但是，我们人类做了一件奇怪的事：我们无法完美地记住一切，一些细节会逐渐淡去。人年纪越大，似乎越能回忆起过去在学校的美好时光。DeepSeek 的科学家们提出了一个问题：“如果我们让 AI 也这样做呢？”
要求人工智能进行“人工遗忘”。但这真是一个疯狂的提议，为什么要这么做？这怎么讲得通呢？好吧，让我们一起来看看。随着我们与 AI 系统不断交谈，或者附加越来越多的文档，由于它必须记住所有内容，运行成本会越来越高。现在，DeepSeek OCR 表示不必担心。
让我们把这一大团信息（甚至是文本）渲染成图像，然后压缩该图像，有点像 JPEG 对图片所做的操作。但这是基于学习和 token 的机制。现在，数据量大幅减小了。但这听起来似乎还是不太合理。那么，这好在哪里呢？我的意思是，我们丢失了很多信息，对吧？
各位学者请坐稳了，让我们看看在 10 倍压缩级别下（几乎丢弃了一切并节省了 90% 的空间），我们到底丢失了多少信息。这是极大的压缩率，但结果如何呢？我们可以恢复超过 96% 的文本。这简直不可思议。
那么，为什么不进一步推演呢？当我们提升到接近 20 倍的压缩率时，OCR（光学字符识别）准确率下降到 60%。哇哦，我原本预期会更低得多。好的，现在有一个重要的问题：这真的是全新的技术吗？
起初我对这项研究有些困惑，因为这是一篇关于 OCR 的低调论文。是的，这确实涉及 OCR。你给它一份文档（甚至是手写笔记），它会返回文本内容。形式上，它接受少量压缩的视觉 token，并将其转化为数量多得多的文本 token。但这仅仅是 JPEG 吗？
毕竟这项技术已有三十多年历史了。想法很好，但这是不是只是把 JPEG 插件接入 AI 系统呢？嗯，并不完全是。这里有很多新东西。各位学者大家好，这里是 Dr. Karolis Jonaityte 的《两分钟论文》。
你看，JPEG 压缩的是像素；这里压缩的是记忆。首先，这些记忆被转化为图片，然后我们对该图片进行压缩。但我们还没完。不，不，不。甚至差得远呢。关键的工程技巧是他们创建了一个编码器，旨在处理极高分辨率的文档而不会导致成本爆炸。
为此，第一点：它首先使用局部窗口注意力机制；第二点：采用 16x 卷积压缩器；第三点：进行全局视觉处理。好吧，这意味着什么？换句话说，它不会用全注意力盯着每一个像素看。不，它是先扫视、挤压，然后才进行阅读。
这里有一个绝妙的地方：一旦你能以如此低廉的成本做到这一点，突然之间，这就不只是关于记住旧数据了。等等，那是否意味着它不仅能理解文档，还能帮助生成新数据？是的。论文指出，它可以在单张 A100 GPU 上以合理的速度每天生成超过 20 万页的 LLM（大型语言模型）和 VLM（视觉语言模型）训练数据。
既然我们是学者，我们也要看看局限性。论文本身指出，仅凭 OCR 不足以证明真正的文本压缩能力，后续的压力测试表明该模型可能严重依赖语言先验知识，而不仅仅是视觉记忆。
换句话说，当图像压缩过度时，它可能再也无法真正“看到”缺失的文本了，而是根据上下文猜测最可能的词汇。这有点像自动补全功能，但更强大一些。总体而言，这项技术绝对棒极了。
这不仅是一个对我们所有人免费开放的系统，它还创建了训练数据来帮助其他开源模型诞生。这真是太神奇了。生逢此时，何其有幸。别忘了，每篇研究论文都在推动人类进步。但未来属于那些理解它的人。
如果你享受了本期内容，请订阅并按下铃铛。我经常使用 Lambda 在几分钟内复现 AI 研究论文。它也非常适合训练你自己的模型，或对现有模型进行微调。运行推理、文本生成图像或视频，易如反掌。
运行 DeepSeek 聊天机器人或智能体？超级快速、极其可靠。Lambda 为你提供强大的 Nvidia GPU，让你运行自己的实验。我测试我所涵盖论文中的想法，片刻之后就能看到结果。太爱了。真的，现在就去 lambda.ai/papers 试试看吧。