从 ULMFiT 到微调范式:理解 AI 进化的底层逻辑
杰瑞米·霍华德(Jeremy Howard)通过其里程碑式的 ULMFiT 研究,打破了“语言模型无法微调”的行业铁律,确立了如今大模型通用的 “三阶段架构”:预训练、领域微调、下游任务微调。在 2018年,他利用 AWD-LSTM 模型,在仅有的 2080 Ti 显卡上用 8小时 完成了预训练,并仅用 5分钟 的微调便打破了当时的 SOTA(当前最佳) 纪录。这一研究的核心在于通过 判别式学习率 和对 批量归一化层(Batch Normalization) 的微调,实现了模型灵活性与可控性的平衡,为后来的 BERT 和 GPT 系列铺平了道路。
Vibe Coding:控制的幻觉与“老虎机”效应
针对当前盛行的 Vibe Coding(氛围编程),霍华德提出了严厉的批判。他认为这种依赖提示词(Prompt)驱动的编程方式本质上是一种 “控制的幻觉”。使用者看似在通过精心设计的上下文进行操控,实则如同在玩 老虎机:用户以为自己在制定策略,但最终代码能否运行完全取决于概率性的生成结果。这种方式剥夺了人类通过深度交互建立 “心智模型” 的机会。霍华德提出了一个核心质疑:“你愿意把公司的产品,押注在一段自己完全看不懂的代码上吗?” 缺乏对构建过程的掌控,意味着软件无法进行必要的 维护、优化与工程化管理。
统计插值 vs. 真正的创造:AI 的“角色扮演”本质
霍华德指出,当前大模型的理解力并非真正的认知,而是一种 “高维度的统计相关性匹配”。以 Claude 编写 Rust 语言编译器为例,这并非真正的技术突破,而是在现有 LLVM 架构基础上的 “风格迁移” 与 “插值”。AI 的表现更接近于认知科学中的 “角色扮演”(类似于“中文房间”实验):它在训练数据的分布范围内表现得极其出色,一旦脱离数据边界,就会因缺乏对底层逻辑的理解而瞬间崩溃。AI 并不具备从零开始发明新算法的能力,它只是在 “假装自己懂了”。
知识的侵蚀:约束、创造力与组织风险
真正的创造力建立在对 “约束” 的深刻理解之上,而知识是具身化的,存在于人类的协作与实践中。霍华德认为,当人类将需要认知能力的任务过度外包给 AI 时,实际上是在 侵蚀组织内部的知识积累。如果缺乏对规则和约束的深层理解,AI 所产生的所谓“创造”不过是 毫无意义的拼凑。这种缺乏逻辑约束的编程方式,不仅无法带来真正的效率提升,反而可能导致软件工程核心价值的丧失。