Jev 发布后的身心状态与行业反思
Diogo Almeida 在 Jev 成功引爆社交媒体后,坦言自己处于一种极度疲惫但精神亢奋的状态。他形容自己是“一具破烂的尸体”,因为作为技术型 CEO,需要处理大量突发状况。然而,在心理层面,他感到前所未有的清醒与同步。他认为整个 AI 领域如同“万花筒屋”,充满了荒谬的言论,而 Jev 的成功让开发者群体重新认识到 AI 的经济潜力。这种认知回归现实让他感到兴奋,因为他看到基于 AI 的经济革命再次提上日程。他对开发者社区的认可表示感激,并强调这种来自一线工程师的共鸣比任何投资人的追捧都更让他感到满足。
社区优先:为何选择开发者而非投资人
在庆祝活动中,Diogo 特意 prioritized(优先考虑)与开发者的互动,甚至拒绝了部分 VIP 投资人的会面邀请。他坦言这种选择让他感到有些“不诚实”或“愧疚”,因为他内心渴望与社区保持纯粹的联系。他理想中的状态是永远只与开发者交流,认为这才是 Jev 真正的根基。尽管他在 Twitter 上因缺乏推广技巧而显得像个“新手”,甚至忘记提供账号,但这种未经修饰的真实感反而赢得了社区的正面评价。这种去中心化的、以开发者为核心的沟通策略,使得 Jev 在发布初期迅速占领了技术圈层的注意力,形成了独特的“正能量光环”。
Jev 的定位:面向代码消费的“系统一”模型
对于外界询问“Jev 是什么”,Diogo 将其定义为一类新的模型类别,即“系统一”(System One)大可编程模型。他解释说,现有的预训练大型语言模型主要用于互联网内容的自动补全,而指令跟随模型(如聊天机器人)则用于回复文本。相比之下,Jev 的设计目标是让代码成为主要的消费者。这意味着模型不仅要具备智能,更要深度集成到软件工程中。TypeSafe 的核心理念是将 AI 与软件整合,从模型深层内部到外部接口都针对软件开发进行优化。这种架构使得 AI 能够直接服务于编程任务,而非仅仅作为文本生成的工具。
核心指标:智能与成本的极致平衡(Jevad)
Diogo 强调,Jev 的核心优化目标是“每美元智能”(Intelligence per Dollar)。他借用经济学中的“杰文斯悖论”(Jevans paradox)来命名这一系列模型,暗示通过提高能效和智能密度,可能带来更广泛的经济影响。在可靠性、成本、校准度和速度之间,Jev 选择了以极致的性价比作为前沿竞争的关键。他承认这是一个充满争议的话题,但坚持认为模型质量若持续领先,TypeSafe 将在长时间内保持优势。这种对成本效益的极致追求,旨在解决当前 AI “引擎强大但缺乏合适接口”的经济价值转化难题,使自动化能力真正嵌入到具有经济价值的实际工作中。
RHF 校准陷阱:模式崩溃与过度保守
在讨论如何优化每美元获得的智能时,模型校准(Calibration) 成为了一个被忽视的关键议题。TypeSafe CEO Diogo Almeida 引用了与 Hugging Face Clementine Fia 的对话,指出当前许多模型倾向于迎合用户期望或生成最可能的结果,而非基于内部置信度。这种倾向导致了 RHF(Reinforcement Learning from Human Feedback)的负面效应,特别是“模式崩溃”或“模式下降(Mode Dropping/Collapse)”。Almeida 强调,他在发布视频中极度追求准确性,但这在行业内并不常见。他指出,模型为了生成长字符串而不犯错,必须变得极其保守。这是因为错误显而易见,而细微的、看似正确的偏差却难以察觉。这种对校准的过度追求毒化了字符串的概率分布,导致模型回避长尾或复杂情况。
“I've been heard that your audience is the most technical... I actually want to get into that. Um, and if I went through extreme precision to make sure everything in our launch video is accurate and real... One of the things that no one paid attention to was the downsides of RHF, in particular, mode dropping.”
杨立昆的“序列长度谬误”与分布覆盖理论
Diogo Almeida 对 Yann LeCun(杨立昆)关于“语言模型注定失败”的观点进行了辩证分析。LeCun 曾提出一个看似数学上显然成立的论点:随着序列长度增加,出错的概率会线性累积。Almeida 认为这是一个 数学上显然但经验上不成立的谬误。其核心脱节在于对概率分布的理解。在覆盖良好或校准良好的分布中,模型不应因出现离群值(Outliers)而受到过度惩罚。正常的分布本身就包含一定比例的“分布外”和“分布内”情况,正如 GAN(生成对抗网络)之前的模型会产生模糊图像一样。然而,GAN 通过模式崩溃丢弃了少数类,只关注常见情况。字符串模型的问题在于决策过载:它们被设计用于做决定,但在长序列中,这种基于 token 输出的推理循环会导致误差累积。Almeida 指出,为了生成长文本而不犯错,模型需要极度保守,但这牺牲了模型的表达能力和准确性。这种校准机制实际上阻碍了长序列生成的可靠性。
JEPA 研究与程序化 AI 的“淘金热”
针对 LeCun 提出的解决方案——JEPA(Joint Embedding Predictive Architecture,联合嵌入预测架构)或世界模型,Almeida 表示虽然这是 极具价值的早期研究,但他更关注实用性。他质疑 JEPA 是否已经具备实际落地能力,并指出当前研究界存在大量未被打磨的“原石”,因为人们尚未掌握正确的任务定义方式。相比之下,TypeSafe 选择了一条 程序化 AI(Programmatic AI) 的道路。Almeida 认为,虽然 Scaling Laws(缩放定律)告诉我们资源投入与收益的关系通常是指数级增长但边际效益递减,但在某些高价值领域线性增益依然值得。他预测,软件将被程序化 AI 强力赋能,引发一场平行于 TypeSafe 的“淘金热”。人们将探索各种方式暴露 AI 能力,以构建更强大的软件工具。这种氛围让他联想到 早期互联网的能量,与当前大实验室垄断 Scaling Laws 的封闭局面形成鲜明对比。
“Scaling laws tell you how much better you get at a thing for amount in... scaling law does mean exponentially more resources for normally sublinear gains which looks to be a bad investment unless those like linear gains are really valuable.”
对安全对齐(Safety Alignment)的实用主义批判
最后,Almeida 解释了为何 TypeSafe 拒绝进行传统的安全对齐(Safety Alignment)。他澄清自己并非反对安全原则,而是认为当前的 安全对齐技术通常与真正的目标不一致(Misaligned)。他倾向于一种更实用主义的立场,即通过工程手段和系统架构来确保可靠性,而非依赖可能扭曲模型行为或降低其能力的对齐训练。这种立场反映了他对 技术实用性和效率 的坚持,认为过度关注对齐可能会阻碍模型在复杂任务中的表现。他提到自己的品牌除了“疯狂”之外,核心是 务实(Practical)。这种观点在当前的 AI 伦理讨论中显得尤为独特,也解释了 TypeSafe 为何选择专注于构建可预测、可编程的 AI 系统,而非仅仅追求通用智能的表面安全。
“I'm not opposed to safety as a principle, but I think that safety alignment is generally misaligned with [the goal of building reliable systems].”
API 拒绝服务是反人类的工程灾难
在构建通用 AI 基础设施时,“拒绝响应”(Refusal)本质上是一个类型错误。对于人类用户而言,当 Chatbot 拒绝读取代码或执行任务时,虽然令人沮丧但尚可忍受;然而,当这种不确定性进入后台依赖项或自动化工作流时,后果是灾难性的。如果某个正在运行的服务因为接收到“奇怪”的用户消息而随机崩溃,这不仅是软件工程的失败,更是对开发者信任的彻底背叛。Diogo 指出,这种设计源于对软件本质的误解——AI 不应被视为需要时刻监管的“同事”,而应是不可靠性极低的底层内核。如果软件工程师必须为每一个 API 调用编写复杂的异常处理来应对模型的“任性”,那么这种技术就失去了其作为基础设施的价值。
智能的本质:超越成本与速度的“可信度”
在人工智能行业日益激烈的竞争中,TypeSafe 的核心主张并非单纯追求极致的速度或最低的成本。虽然用户往往对每美元能获得的智能量(intelligence per dollar)以及响应速度表现出极大的关注,但 Diogo Almeida 认为这些只是基础要素。他明确指出,“成本和速度是‘坏’的东西,真正重要的是智能本身”(intelligence is what truly matters)。这是因为智能具有某种“基因”或内在特质,这种特质难以通过简单的量化指标来衡量。例如,在 Jev 模型发布后不久,用户反馈表明该模型具有极高的可用性(usable),这种直观的感受比任何公开基准测试都更能体现产品的价值。Almeida 认为,公众基准测试(public benchmarks)与这种长期信任的建立是背道而驰的。尽管基准测试有助于建立初步的信任,但它们极易被操纵(gameable)。回顾历史,许多实验室曾组建专门团队收集类似 MMLU 的数据以提升分数,这本质上只是“带有额外步骤的基准测试(benchmarking with extra steps)”。因此,TypeSafe 的策略是专注于可靠性的小数点后九位(nines of reliability)的提升,让用户在实际工作流中评估模型表现,从而建立基于真实体验的信任。
数据实验室:以“品味”定义模型能力
TypeSafe 自视为一家数据实验室(data lab)而非传统的模型实验室。Almeida 引用 Andrew Sutton 的观点指出,算法优于计算(algorithms beats compute),而数据的重要性远超算力。他强调了任务定义的关键性:从 RHF(人类反馈强化学习)转向指令遵循,再到 RLVR 的微小调整,以及现在的 RLCD(基于代码/逻辑的数据)任务转变,每一次突破都源于对数据形态的深刻理解。他认为,“模型能力即数据(model capabilities means data)”,数据的复杂性决定了模型的最终表现。因此,TypeSafe 正在大规模招聘数据人才(data people),甚至称需要“无限”的数据专家。对于理想的数据工程师角色,Almeida 描述为需要具备极高的品味(taste)和关怀。他们不仅仅是处理合成数据,而是要深入审视数据的每一个维度,识别并解决认知核心中的“锯齿状”缺陷(jaggednesses)。这种工作如同艺术家般,通过手术般的精准方式修复数据中的偏差,确保模型在通用情况(general case)下而非特定测试集上表现优异。这种对数据质量的极致追求,旨在避免模型过拟合于当前的现实世界偏见。
RLCD 与未来架构:拒绝过度拟合并构建基础设施
针对外界对 TypeSafe 未公开发表 RLCD(Reinforcement Learning with Code/Data?)相关论文的质疑,Almeida 解释了其背后的战略考量。他并不急于通过发布论文来证明 RLCD 的有效性,而是更关注校准(calibration)等已被广泛理解的领域。他坚决反对使用用户数据进行训练,因为现实世界的数据充满了偏见(bias)和权力法则导致的重复性问题。如果仅基于现有数据训练,模型将过度拟合于当下(overfit to the present),无法适应未来的需求。Almeida 将 TypeSafe 的模型比作互联网协议中的 TCP,而现有的 LLMs 则是 UDP。他的愿景是构建一个能够支撑未来多年科幻般场景(sci-fi future)的基础设施层。为了实现这一目标,模型必须能够处理软件开发者尚未想象到的复杂应用。因此,TypeSafe 致力于通过手术式地解决数据中的认知缺陷,来确保模型在每一个可能的维度上都具备鲁棒性。这种对未来的前瞻性布局,使得 TypeSafe 能够在不依赖当前数据偏差的前提下,构建出真正通用且可靠的智能基础设施。
RLHF、RHF 与 RLCV:概念辨析与核心定义
在探讨 AI 对齐技术时,术语的精确性至关重要。Diogo Almeida 指出,“RHF”这一缩写实际上指代了多种不同的技术路径,而非单一算法。他首先回顾了早期强化学习在机器人领域的应用,例如通过原始论文教导机器人完成后空翻等高难度动作。随后,他提到了 OpenAI 团队在语言模型上进行的“学习摘要”工作,这被视为对指令遵循(instruction following)任务的强化处理。然而,Almeida 强调,他所指的“RLHF”核心并不在于具体的算法实现(如 PPO),而在于其确立的价值导向。他认为 RLHF 为 AI 设定了一个“北极星”方向,即通过人类反馈来优化模型输出。相比之下,他提出的 RLCV(Reinforcement Learning from Code Verification) 则是另一种全新的任务范式。Almeida 明确表示,他并非在使用行话堆砌概念,而是试图通过精确的术语来区分这两种不同的优化目标。他指出,尽管 DPO 及其衍生算法也常被称为 RLHF,但它们本质上都在追求类似的优化方向。因此,明确“北极星”是区分不同技术路线的关键。Almeida 认为 RLCV 的核心在于去除人类在循环中的角色,因为传统的 RLHF 调优是为了实现自动化的一切,而 RLCV 则试图通过代码验证来实现这一目标。
OpenAI 经历反思:过度承诺与技术现实的落差
Almeida 坦诚地分享了他离开 OpenAI 并创立 TypeSafe 的心路历程,特别是关于项目时间预估的严重失误。他承认自己曾天真地认为解决 AI 自动化问题只需一周时间,这种过度自信导致了对技术复杂性的低估。他向 OpenAI 团队道歉,表示当时误以为能迅速攻克这一难题。Almeida 指出,AI 领域普遍存在“过度承诺、交付不足”的现象,而 RLVR(强化学习从视频验证)和 RLHF 都是这一问题的极端案例。他反思道,虽然 AI 在解决千禧年数学难题等智力密集型任务上表现出惊人的智能,但在自动化基础、枯燥且缺乏成就感的工作方面却进展缓慢。这种“超级自动化的引擎”目前还缺少合适的接口来对接那些经济价值高但技术门槛看似较低的工作。Almeida 认为,这种落差是悲剧性的,但也揭示了巨大的潜力。技术准备度与野心之间的错位是他早期经历中最大的教训。他强调,虽然 TypeSafe 可能会在未来一两年内被追赶,但如果模型质量持续领先,他们仍将保持优势。这一经历让他意识到,在技术尚未成熟时强行推进是傲慢的。他坚持认为,必须务实看待语言模型的能力边界,避免在不具备条件时强行推行编程式 AI 的理念。
可编程 AI:从内部垄断到百花齐放的未来
尽管面临挑战,Almeida 对“可编程 AI”(Programmable AI)的未来持乐观态度。他认为,AI 技术的进步已经改变了技术历史的轨迹,而 TypeSafe 的工作只是开启了这一探索领域的大门。他呼吁行业不要将成功仅仅归结为某一种模型类型的胜利,而是应该探索五种以上的其他模型类型。Almeida 预言,随着技术的成熟,曾经被内部垄断的最佳 AI 工具将重新回到公众视野。他指出,当前的互联网能量正在回归一种技术乌托邦式的创造氛围。过去,开发者可能只能偶尔使用工作正常的编码代理;未来,最好的工具将不再被封闭在内部。Almeida 强调,这种转变意味着创造力的重新释放。他提到,虽然他的演讲有时显得像“悬念剧”,因为他没有详细披露自动化的具体步骤(甚至被 Sean 评价为某些部分过于模糊),但他坚信这一方向的正确性。他邀请听众“系好安全带”,因为这将是一个狂野且充满可能性的世界。Almeida 认为,TypeSafe 的成立和融资 momentum 使得这一愿景得以实现。他坚信,让一千朵花绽放是行业发展的必然路径,而不仅仅是依赖单一的技术路线。这种开放和多元的探索精神,将是推动 AI 自动化真正落地的关键动力。
核心观点总结与技术哲学
Almeida 的论述贯穿了对技术本质的深刻思考。他坚持认为,精确沟通是避免误解的基础。在 AI 领域,术语的模糊往往导致对技术潜力的误判。他通过区分 RLHF 和 RLCV,强调了任务定义的重要性。他认为,RLHF 的核心在于设定价值导向,而 RLCV 则旨在通过代码验证实现去人类化的自动化。这种区分不仅具有学术意义,更具有实践指导价值。去除人类在循环中是 RLCV 的关键特征,这标志着从依赖主观反馈到客观验证的转变。Almeida 还反思了过度承诺的危害。他承认自己在 OpenAI 期间的误判,并指出这是行业普遍存在的问题。这种反思促使他在创业时更加务实。技术准备度是决定项目成败的关键因素,忽视这一点会导致资源的浪费和预期的落空。最后,Almeida 展望了一个百花齐放的未来。他认为 AI 的发展不应局限于单一模型类型,而应鼓励多种技术路线的竞争与合作。这种开放的态度有助于释放创造力,推动 AI 自动化从理论走向现实。可编程 AI不仅是技术的进步,更是工作方式和创造力的重塑。Almeida 的愿景是建立一个更加开放、多元和高效的 AI 生态系统,让技术真正服务于人类的创造需求。
拒绝基准测试:建立长期信任的艰难抉择
Diogo Almeida 在回顾离开 OpenAI 的原因时,强调了其团队坚持原则的重要性。他坦言自己主要反对的是“可组合”(composable)这一术语,但团队最终围绕该概念凝聚起来。在融资过程中,外界强烈要求提供基准测试数据(benchmarks),但 Diogo 明确表示:“我不相信基准测试”(I don't believe in benchmaxing)。他认为,真正的价值需要用户去“感受”,而非通过冷冰冰的数字来证明。尽管这种坚持导致去年融资时无人相信他们,甚至让他们付出了巨大代价,但他认为这是建立长期信任的正确方式。他不愿为了迎合投资者而妥协原则,甚至表示如果发生 AI 寒冬而自己未能全力避免,他将感到个人责任重大。这种“选择艰难道路”的策略虽然痛苦,但最终帮助公司建立了独特的文化认同。
平台爆发:从等待名单到每日万亿 Token
Jev 平台的发布取得了惊人的早期成功,Diogo 透露了一个关键里程碑:每日 Token 处理量超过一万亿(surpassing a trillion tokens per day)。他强调,这并非短暂的流量高峰,而是包括夜间在内的持续稳定增长。数据显示,“机器正在调用它”(machines are calling it),而不仅仅是人类用户在尝试。这种由自动化工作负载驱动的增长模式,证明了 Jev 正在被用于真实的工作场景。Diogo 指出,AI 已经变得有用且被广泛用于自动化,不到一周的时间,“数字已无可辩驳”(the numbers are already undeniable)。这种爆发式增长让团队感到震惊,也验证了其技术路线的可行性。平台在前所未有的发布压力下,保持了极高的可用性,“拥有比 Anthropic 更高的正常运行时间”(more up nines of uptime than anthropic),这得益于其强大的平台团队。
开发者生态:复利效应与涌现价值
Diogo 反思了早期对“等待名单”和注册人数的误解。他认为,对于开发者平台而言,“等待列表上的注册用户数量并不重要”(weight lists signups don't matter)。许多非开发者用户因无法理解编程逻辑而流失,但这并非核心问题。他提出一个观点:全球人类每人写几个查询所创造的流量,“相对于一个高级用户通过循环创建的价值来说,只是九牛一毛”(rounding error compared to like one power users for loop)。真正的价值在于速率限制(rate limits)被突破后,用户将任务自动化并作为其他系统的依赖项。这种“涌现”(emergence)效应类似于早期互联网的发展,用户通过组合能力创造出意想不到的复杂应用。Diogo 强调,Jev 的目标是成为催化剂,“我们要追求的是涌现”(We are going for emergence),通过赋能开发者来创造巨大的世界价值,而非仅仅关注表面的营销数据。
对“Neolab”标签的疏离与开发者平台的终极愿景
在对话中,当被提及可能成为2026年最顶级的“Neolab”(指代像OpenAI那样具有颠覆性但可能不稳定的初创公司)时,Diogo Almeida 明确表示对此并不在意。他拥有印有“Neolab with product”字样的周边,但这更多是一种对行业现象的讽刺性模仿。他并不关心是否被视为一家激进的Neolab,而是致力于构建一个可靠、可信赖的开发者平台。 他的愿景是超越短期的炒作周期,回归到为开发者提供革命性且稳定的工具这一本质上来。
“I don't care about being a Neolab... what I care about is being a reliable dev platform.”
Almeida 认为,当前的AI行业往往陷入了一种不稳定的状态,而TypeSafe的目标是让开发者能够真正信任并依赖其产品。这种可靠性不仅体现在系统的 uptime(正常运行时间)和可扩展性上,更核心的是智能输出的稳定性。他指出,尽管大型推理模型在智商上表现优异,但在许多需要自动化的场景中,它们仍然不够可靠。这种不可靠性使得AI无法像实习生那样稳定地完成任务,尽管从经济角度看自动化这些工作是合理的。
可靠性的多维定义:超越“确定性”的鲁棒性
关于AI输出的可靠性,Almeida 提出了一个关键的技术细节:TypeSafe API 不提供 seed(随机种子)参数,因此相同的输入不一定产生完全相同的结果。面对这一质疑,他将“可靠性”定义为一个涵盖面更广的概念。虽然确定性(Determinism)——即相同输入产生相同输出——对于单元测试等特定场景有价值,但他认为这不应成为AI发展的“北极星指标”。
相反,他主张鲁棒性(Robustness)才是更核心的属性。这意味着即使输入存在细微的语义噪声,输出也应保持相似和一致。他通过一个具体的测试案例来说明这一点:在提示词(prompt)中加入无意义的字符或乱码,如果模型仍能给出语义相同的正确输出,才证明了其真正的鲁棒性。 目前的大语言模型在这方面表现极差,微小的输入扰动往往导致输出剧烈波动,这是AI在实际决策中“翻车”的主要原因。
极致性价比背后的工程妥协与未来展望
为了在“每美元智能比”(intelligence per dollar)的前沿保持领先,TypeSafe 采取了一些非常激进甚至被形容为“令人作呕”的工程手段。Almeida 坦言,公司为了追求极致的性价比和性能曲线,不断进行超出常规思维的实验和优化。这种策略虽然有效,但也意味着系统需要在某些方面做出权衡。他幽默地提到,如果追求绝对的确定性(如通过固定 seed),可能会牺牲成本效益或性能表现。
“We are constantly wanting to be on the intelligence per dollar frontier... we are doing like absolutely disgusting things to be there.”
尽管面临挑战,Almeida 对未来的愿景依然清晰:他希望AI能达到一种“心流”状态的开发体验。在这种状态下,开发者无需担心模型是否出错,只需专注于编写查询逻辑,系统就能准确处理非平凡的分支和结果提取。这种“无需尝试就知道它能工作”的信任感,是TypeSafe追求的终极目标。虽然实现这一愿景需要漫长的过程(long slog),但通过持续优化鲁棒性和可靠性,TypeSafe 希望成为开发者手中最坚实的工具。
确定性模型与 GPU 资源的经济账
在讨论是否开发像 Sora 那样确定性的视频生成模型时,Diogo Almeida(TypeSafe CEO)指出,虽然技术上可行且团队乐意去做,但前提是必须消除巨大的 GPU 短缺问题。他明确表示:“我们可以制造所有这些模型……只要人们能说服我们这是有价值的,并且我们没有巨大的 GPU 短缺。”然而,现实是确定性模型每美元获得的智能较低(less intelligence per dollar)。这意味着在相同的算力成本下,确定性模型消耗的 GPU 资源更多,效率更低。
OpenAI 的前员工则从市场心理角度分析,认为即便开发者声称不需要确定性模型,群体压力(peer pressure)也会迫使公司推出此类功能。即便被告知“不需要”,人们依然会想要。这种需求并非源于实际效用,而是来自行业内的攀比和期望。因此,尽管 Diogo 坚持认为我们的目标不是仅仅为了吸引公司入驻,而是为了让尽可能多的人去实验和尝试那些怪异的想法(starting the California gold rush),但在 GPU 长期受限的背景下,追求高性价比的智能比追求确定性更为紧迫。
模型版本迭代与长期支持(LTS)的困境
关于 API 服务的稳定性,Diogo 承认 TypeSafe 计划比许多模型提供商更快地推出新模型,并且目前不承诺对旧版本提供长期支持。他直言:“如果我们部署时不改变模型,那是疯狂的。”他认为 API 与第一方产品不同,在 API 中不能随意更改已部署的模型行为。然而,快速迭代意味着如果强行保留旧版本,会导致舰队碎片化(fracturing our fleet),这对所有开发者来说都是糟糕的体验。
“我们不会在部署时更改我们的模型。这太疯狂了。”
为了解决开发者讨厌破坏依赖性的痛点,Diogo 透露他们正在研究一种非常酷的方式来提供长期支持(LTS)。虽然目前无法承诺保持模型完全不变,但他们可能会暂时将当前的 Jev 1.13.0 版本设为 LTS。他解释说,模型之间的变化往往比调用字符串两次产生的差异还要小,除非是从早期版本(如 jagged)跃升到当前水平。这种快速迭代策略旨在通过持续改进来最大化开发者利益,尽管这带来了版本管理的复杂性。
智能密度与速度的权衡:Jeban 悖论
在性能指标上,Diogo 强调 TypeSafe 的核心品牌定位是每美元的智能(intelligence per dollar),同时也关注每秒智能(intelligence per second)。他提到了“Jeban 悖论”的概念,即模型必须处于前沿水平(pre-fronter)。他内部坚持的观点是:我不在乎它有多聪明,但它必须处于前沿状态。这是 Jev 品牌的本质——在每美元智能和每秒智能之间找到最佳平衡点。
虽然实时性对某些行业至关重要,且在大规模应用中,每微秒的延迟都会被数十亿次调用放大,但 Diogo 表示他们希望由市场来纠正方向。他并不排斥探索其他硅基芯片(如 Cerebras 或 Etched)以获取10万倍的速度提升,但他认为目前的首要任务仍是性价比。他承认这是一个有趣的领域,并愿意通过实际数据来验证哪种指标(成本 vs 速度)对开发者更具价值。最终,TypeSafe 的策略是在保证前沿智能密度的前提下,通过快速迭代和市场反馈来优化速度与成本的平衡。
Jev 的市场定位:速度与成本的双重突破
在探讨大模型的发展趋势时,实时性(Real-time)与用户交互体验成为了关键指标。Diogo Almeida 指出,在面向用户的实时场景中,延迟预算通常在 100 毫秒到 1 毫秒之间,这是一个极具魔力的区间。如果能够将延迟降低一半(即低于 100 毫秒),用户就能获得双倍甚至更多的智能调用机会,从而带来现象级的体验。然而,Almeida 明确表示,虽然“每秒智能数”(Intelligence per second)是一个令人兴奋的用例方向,但这并非 Jev 的核心利基市场。他观察到,目前市场上大多数模型提供的权衡往往是“更快但更贵”,而 Jev 的独特之处在于它占据了“既快又便宜”这一目前尚属空白的象限,同时保持智能水平基本不变。
内部评估与基准测试的严谨性争议
针对 Jev 如何在保持低成本和高速度同时维持智能水平的问题,Almeida 强调了内部评估(Internal Evals)的重要性。他承认,不进行公开基准测试或不喜欢公开的基准测试结果是 Jev 的一种策略选择。他认为,虽然公司内部确实有评估体系,但关键在于要有很强的纪律性来避免“刷分”或操纵数据(Gaming the metrics)。> "We have our own internal evals for sure. But it takes a lot of discipline not to game those..." 他坚持认为,不操纵模型智能程度的评估结果是最高优先级的任务之一。为了确保用户获得真正的“每美元智能”(Intelligence per dollar)保障,团队必须通过内部绘图和比较来确定最佳方案。Almeida 表示他并不反对测量,但他警告说,当存在其他激励因素时(如为了迎合公开榜单),不进行自我欺骗是极其危险的。这种对“真理寻求”(Truth-seeking)的坚持,是他们确保模型质量不妥协的核心原则。
API 核心原语:Choice、Score 与 Nulls 的设计哲学
Jev 的 API 设计引入了三个全新的基础原语:Choice、Score 和 Nulls,这些概念并非传统编程语言的内置类型。Almeida 详细解释了 Score(评分)的命名起源,它源自伯努利概率(Bernoulli probability),因此拼写独特。虽然它是布尔值逻辑的延伸,但本质上是连续的。Score 不同于整数或浮点数,如果开发者试图将其映射到现有的类型系统(如使用 Instructor 库将整数或浮点数转换为 Score),可能会导致严重的兼容性问题。这种设计是为了清晰度优先于易用性。此外,Choice(选择)被设计为最接近函数调用的概念,但它实际上更接近于编程语言中的枚举(Enum)和 Switch/Match 语句。Almeida 认为,传统的函数调用概念过于混乱(Disgusting),而 Choice 提供了更清晰的枚举匹配方式。最后,Nulls则对应于编程中的 If-Else 逻辑判断。这三个原语共同构成了 Jev 的类型系统,旨在更精确地映射 AI 推理过程中的逻辑结构。
命名争议与社区生态的开放态度
在讨论这些新概念的命名时,Almeida 透露了内部的一些趣事。例如,“Score”曾考虑过命名为“Pool”,甚至有人提议叫“Pool Party”,但最终因缺乏严肃性而被否决。对于 Jev 这个名称,内部也曾存在大量反对声音(除了一个人坚持认为应该叫“Meow”)。Almeida 表示,团队自视为一群不羁且疯狂的程序员(Irreverent insane bunch),他们并不指望这些新术语能立即被主流接受。尽管目前缺乏与现有 SDK(如 Instructor 或 Pydantic)的直接集成文档,Almeida 对社区生态持开放态度。他认为成功本身也是一个 Score(评分),总有提升空间来更好地支持社区。他相信,即使官方文档更新滞后或不够完善,社区开发者最终会自发地创造出集成方案。这种对非二进制成功观的认同,反映了 TypeSafe 团队在推动新技术标准时的务实与包容心态。
摒弃模板化思维,拥抱结构化 JSON
Jev 模型的核心设计哲学在于深入计算机程序的内部运作机制。Diogo Almeida 强调,团队坚信这种深度集成将比当前人们考虑的任何应用都更为庞大。为了实现这一目标,输入数据不应被视为简单的字符串拼接或模板填充。所有输入部分——包括状态、指令和标准,都应被设计为结构化的 JSON 对象。这种设计的初衷是让程序能够精准地将数据插入到正确的位置,从而避免使用传统的模板引擎。Almeida 指出,如果开发者仍然倾向于将内容转换为系统消息或字符串模板,这代表了一种“旧时代的思维方式”。在计算机内部交互中,传递具有语义完整性的嵌套结构才是正道。虽然在编程语言中将数字转为字符串通常是为了人类可读的输出,但在机器交互中,结构化数据能显著提升代码的可读性、美观度以及对实现细节的无关性。模型本身也在针对这种结构化输入进行持续优化,尽管嵌套层级越深,推理难度越大,但这是提升软件强大能力的必经之路。
系统消息的弊端与分解策略的价值
传统的开发模式往往依赖庞大的“系统提示词”(System Messages),这被 Almeida 比喻为令人厌恶的全局变量。在这种模式下,开发者将所有指令一次性注入,然后祈祷模型能准确执行每一条指令。相比之下,将问题分解为最小的语义单元并并行提问是更优的工程实践。Almeida 强烈建议开发者将复杂任务拆解为简单决策,因为每一个小单元都是可评估、可验证的。他提到,虽然目前这种做法可能显得繁琐且效率低下,但随着 AI 代码库质量的提升,这种分解策略将成为关键优势。通过拆解问题,开发者可以像验证传统代码一样验证 AI 的行为。例如,可以通过程序化手段保证模型不会读取特定子目录或泄露 API 密钥,从而获得机器学习中罕见的确定性保障。这种可验证性将带来更严谨的工程实践。
历史局限与当前最佳实践的冲突
尽管分解策略在理论上更优,但在过去并未成为主流。Almeida 承认,早期开发者倾向于将所有内容打包到一个大型 LLM 调用中,因为当时的模型在处理多个小任务时速度较慢且成本较高。他分享了自己的基准测试经历:曾对比过“一次性填充系统提示词并获取单一输出”与“分解为 100 个独立任务”的管道。结果显示,后者在当时的技术条件下更慢、更昂贵且效果并不更好。这种不便导致开发者倾向于将一切合并,即使这意味着要在不同问题间重复信息或降低可靠性。软件不需要在后台运行复杂的模糊逻辑,而是需要确定性。因此,尽管当前的技术限制使得分解策略显得笨拙且低效,但 Almeida 认为这是通往更可靠 AI 应用的必经之路。他呼吁开发者不要因短期的效率损失而放弃长期的工程严谨性,坚持将问题分解为最小的语义单元是提升 AI 应用质量的关键。
拒绝式判断的模块化拆解与工程化迭代
在构建大型生产级AI应用时,核心挑战在于如何精确控制行为并易于扩展。Diogo Almeida 指出,与其让模型在一个复杂的提示中猜测是否应该拒绝某项请求(即所谓的“系统一”兼容任务),不如将判断逻辑拆解为多个独立的、针对特定拒绝场景的问题。这种方法的优越性在于,开发者可以明确指定期望的行为边界。
"I think you're way better off like asking many different independent questions about the different situations you can refuse."
这种模块化拆解带来了软件工程层面的巨大优势:当模型未能正确拒绝时,开发者可以精准定位是哪个具体环节缺失了规则。通过添加新的检查问题或调整阈值,并记录为测试用例,该缺陷被永久修复。这避免了传统提示工程中常见的上下文腐烂(context rot)问题,因为逻辑是显式代码化的而非隐含在自然语言中。此外,基于真实案例数据设定阈值,使得系统能够在模型能力不足时进行权衡,例如在检测到复杂讽刺与VIP客户交互时自动升级至人工处理。这是一种“没有机器学习的机器学习”方法,通过工程手段弥补模型的不完美。
自动化交易的局限性与置信度评估的实用主义
尽管AI在特定领域表现优异,但Diogo对全自动交易等高风险任务持谨慎态度。他认为自动化交易是一个极高难度的顶层任务,目前模型可能尚未具备足够的智能来应对市场效率等复杂因素。即使模型暂时有效,有效市场假说也会迅速消除这种优势。
在客户服务等场景中,置信度估计(confidence estimates)成为关键杠杆。当模型对某些边缘案例(如特定语境下的讽刺语气)判断信心不足时,系统可以设定阈值将其转交人工。这种实用主义(pragmatism)承认AI的不完美性,但通过合理的阈值设定和人类介入机制,依然能实现高期望值(EV)的工作产出。开发者不必追求模型的绝对完美,而是通过阈值调整和任务拆解来管理风险。如果模型在特定细分领域表现不佳,可以选择暂时不部署或采取更保守的安全策略。这种基于置信度的分流机制确保了系统在保持效率的同时,不会因模型错误而产生严重后果。
微调的争议:脚枪风险与未来智能代理的可能性
关于是否提供模型微调(fine-tuning)功能,Diogo持保留态度。他承认目前Jev主要依赖提示工程和阈值调整作为用户干预手段,但这并非因为微调在技术上不可行。他观察到OpenAI、Anthropic和Google Gemini等巨头曾推出微调功能后又撤回,这暗示了通用模型在针对狭窄任务微调时可能存在“脚枪”风险(foot gun),即优化单一指标可能导致模型在其他通用能力或边缘案例上退化。
"I would not want to ship something that is like a giant foot gun."
尽管目前Jev不提供微调,但Diogo承认这在未来的路线图中是可能的。他更倾向于一种实用主义愿景:随着单位智能成本降低,可能会出现小型、近似智能化的代理(proxies for intelligence)。例如,未来人们可能不再编写复杂的ReAct模式代码,因为AI的智能密度已足以替代其复杂性。微调可能在某些特定场景下成为必要,以训练这些小型代理作为智能的近似值。然而,目前Jev的核心策略是通过提示工程的极致优化和模块化设计来最大化现有模型的能力,而非依赖可能带来不稳定性的微调技术。这种选择反映了对产品稳定性和开发者体验的优先考虑。承认AI的不完美并建立相应的工程护栏,比追求模型的绝对通用性更为重要。
模型动态选择与自动微调的未来构想
Diogo Almeida 探讨了未来 AI 系统可能采用的架构,即通过校准(calibration)结合模型级联来处理不同置信度的任务。他设想如果当前小模型的判断非常确定,则直接采纳;若处于中间状态,则调用更大的模型进行链式推理。此外,他提出企业可能会拥有“前沿”(per frontier)系列的模型库,根据任务在技术栈中的不同部分动态选择合适大小的模型。由于 TypeSafe 的技术架构简单,这种机制甚至可以实现自动微调(automatic fine-tuning)。
"I could imagine it. And something that I could imagine too is like... having different sizes of models and to dynamically pick which model based on how smart it is on different parts of your stack."
这种动态策略旨在解决需求无限性与资源效率之间的矛盾。Almeida 指出,人们常因产品“足够好”而推迟发布,但他认为这并非长久之计。他坚持文化即行动的理念,即使市场尚未完全奖励这种坚守,也要推动技术边界。他期待 TypeSafe 未来能像 Visa 一样成为无感的基础设施,但这需要持续的创新而非停滞。
拒绝盲目发布:统一愿景下的“奇怪”创新
在谈及产品策略时,Almeida 明确表示不希望成为那种将功能随意抛向市场的“开放产品团队”。他坚持所有创新必须服务于一个统一的愿景,即围绕其宣言中的三个核心支柱展开。这些支柱不是检查清单,而是构建新技术革命基础的轴线。他承诺所有赌注都将落在这些轴线上,并预告将推出一些“奇怪”(weird)的模型变体。
"I want everything to go under one of these three things... These are not like checklists. These are like axes that we think build the foundation of a new technological revolution."
当被问及“奇怪”具体指什么时,他透露行业有人称之为决策模型(decision models)。但他认为这一术语不够准确,因为机器原生智能的原型不仅仅是决策,还有其他类型。他强调 TypeSafe 并非在重复旧路,而是在确立一种新的可能性。尽管外界认为 Jeff 模型并不新颖或酷,但他更关注于建立类别和证明其可行性。
可靠性至上:对 AI 冬季与性能指标的反思
Almeida 强烈反对当前行业过度关注速度和成本的倾向,他认为可靠性才是让技术令人愉悦和值得信任的关键。他对此感到情感上的共鸣,认为在 AI 冬季的背景下,强大的技术被严重低估和滥用是一种悲剧。他并不想做一个盲目的技术乐观主义者,而是希望为开发者打开新的可能性。
"Reliability is what makes it delightful. Reliability is what allows you to trust it."
对于基准测试(benchmarks)和跑分,Almeida 表示不在乎输赢。他认为即使 TypeSafe 在基准测试中击败所有克隆版本,或者落后于对手,都不影响其核心价值。他更关注的是建立类别的可能性。他提到 TypeSafe 的目标是让软件工程师变得“超能力化”,并引用了TFP Grove Reading 3% in 5 years这一数据(注:此处为原文提及的特定引用,未提供具体对比表格),以此表达对长期可靠性和深度价值的追求。他坚信,真正的突破不在于短期的速度竞赛,而在于构建可信赖的机器原生智能基础。
AGI 定义的经济实质与统计显现
Diogo Almeida 指出,真正的经济革命应与 OpenAI 早期的章程精神一致,即解决世界上的高价值工作问题。他批评当前对 AGI 定义的模糊性,认为许多模型在解决数学千禧年大奖难题上表现优异,但在处理世界上的经济价值工作方面几乎为零。他推测目前模型在真正具有经济价值的任务上,成功率不到 1%。当 AGI 真正实现时,这种突破将直接反映在经济统计数据中。他坚信这不会导致大规模失业,而是引发一系列积极的结构性转变,使世界变得更好。同时,他主张 AI 应退居幕后,成为提升生活愉悦感的隐形助手,而非始终占据舞台中央的主角。
软件行业的“反向 SAS 启示录”
Almeida 对当前软件开发行业提出尖锐批评,指出尽管 AI 技术突飞猛进,但自 2019 年以来,软件形态几乎未变,仅多了侧边栏的聊天框。他认为企业不敢将关键决策权交给 AI 是因为信任问题,但这忽视了巨大的经济激励。他预言将出现“反向 SAS(软件即服务)启示录”,SAS 等老牌企业因最清楚哪些环节值得自动化,将成为这一变革的最大受益者。他形容这将是一个疯狂而美好的时代,AI 将彻底重塑软件的价值交付方式,而非仅仅作为辅助工具存在。
System One 与 System Two 的经验主义界限
关于 Jev(一种推理框架)的适用性,Almeida 强调这是一个经验主义问题。他认为预训练的超级智能核心本质上是 System One(系统一)思维者,擅长直觉和快速反应。尽管 RLVR(强化学习验证推理)在提升 System Two 思维方面取得了令人惊叹的进展,但他指出这种能力非常脆弱且呈锯齿状分布。与早期 ChatGPT 在数学上的短板不同,现在的模型在处理特定基准测试时表现优异,但这种优化是建立在可编程验证的简单输出基础上的。他提到 RLCD 旨在提高程序化使用的可靠性,但模型在复杂推理上仍存在本质局限。
多跳推理的瓶颈与能力挖掘的本质
在测试 Jev 时,Almeida 发现其在单跳推理(Single-hop reasoning)上表现卓越,是业界最佳选择;但在多跳推理(Multihop reasoning)中性能会随跳跃次数增加而单调下降。这证实了当前模型能力的边界:我们处于挖掘(unearthing)而非创造新智能的阶段。他区分了“链式推理”与模型内部的潜在推理(Latent Reasoning,也称连续推理)。他认为目前 AI 的核心业务是解锁、平滑和塑造这些预训练核心中已有的属性,通过组合不同能力来填补空白。尽管模型在内部推理上仍有不足,但这一过程正在逐步释放更多潜能。
关于推理能力与“系统一”承诺的边界探讨
在讨论是否引入类似 Jev 的深度推理功能时,Diogo Almeida 澄清了当前的产品定位。尽管外界曾猜测这可能是一个用于回答问题的“潜在变量”,但他明确表示,目前并不存在所谓的 Reasoning Jev。这一决策并非因为技术不可行,而是基于对 System One(系统一) 核心承诺的坚守。Almeida 指出,引入缓慢、低效且脆弱的推理机制会违背 System One “为机器原生应用提供即时响应”的初衷。他强调,虽然不排除未来会出现更高效的推理形式,但目前的战略重心在于 投资回报率(ROI)这一北极星指标。
“只要它违反系统一的整个承诺,我就不会做所谓的 Reasoning Jev。”
这种务实的态度意味着公司不轻易对具体技术路径做出承诺,而是专注于实现商业价值。Almeida 坦言,尽管原定的发布计划未能如期发生,团队依然对 在市场中占据一席之地 充满渴望。这种紧迫感促使他们在保持核心产品简洁性的同时,持续探索能够平衡速度与智能的解决方案。
视觉能力与“家长式”产品哲学的权衡
关于多模态能力的讨论中,Almeida 幽默地回应了外界对视觉能力(Vision)的期待。虽然用户因 Doom Demo 等案例强烈渴望非文本处理能力,但他认为 视觉能力未必属于 System One 的核心范畴。这引出了一个更深层的产品哲学辩论:是给予用户他们“认为”想要的功能,还是尊重开发者真正的需求?
以上下文长度(Context Length)为例,Almeida 认为自家模型在长文本处理上表现优异且不易退化,但竞争对手往往选择盲目堆砌参数以满足用户表面的“想要”。他担心过度迎合用户需求会导致 Anthropic 式的“家长制”思维,即对用户进行不必要的限制和保护。相反,他主张采取 开发者友好(Pro-developer) 的路线:将工具交给用户,信任他们有能力做出明智决策,而不是替他们决定什么是“智能”。
“我们需要找到平衡点……既要保持品牌的信任度,又要像对待成年人一样教育用户。”
这种策略旨在避免将负担转嫁给开发者去理解复杂的智能机制,同时防止产品变得过于臃肿和受限。Almeida 承认这是一个尚未完全解决的难题,需要在 快速发布与用户教育 之间不断微调。
Cookbooks(食谱)的价值与验证过程
在发布后的反思中,Almeida 特别提到了 Cookbooks(使用指南/食谱) 的重要性。这些文档并非简单的功能说明,而是凝聚了大量心血、旨在解决真实客户问题的 高价值实战案例。尽管最初担心这些概念过于抽象,像“外星人工具”一样难以被理解,但团队投入了大量精力进行教育。事实证明,这种 预防性教育 成为了关键瓶颈的突破口。
“这些食谱里有很多‘火’(极具价值)的东西……它们不是 AI 生成的垃圾,而是充满爱意和真实客户问题驱动的。”
在发布前,团队内部曾存在担忧,认为非技术人员可能无法理解产品的价值,甚至担心产品只是“维生素”而非“止痛药”。然而,发布后的反馈显示,用户的使用场景远超团队最初的演示范围。例如,计算机使用(Computer Use) 等高级应用展现出惊人的潜力,其酷炫程度甚至超过了官方演示。这种 用户自发探索出的高阶用法 验证了产品设计的成功,也证明了前期在文档和用户教育上的投入是正确且必要的。
“人们在做的事情远远超出了我们所能展示的使用方式……他们的用例比我们的更酷。”
Almeida 强调,这些案例都源于解决 真实存在的客户痛点,经过实际工作流的打磨。这种从“被误解”到“被狂热追捧”的转变,不仅缓解了团队内部的焦虑,也确立了产品在开发者社区中的独特地位。
早期推广困境与开发者信仰
在 Jev 正式推出前,公司几乎没有任何收入来源。技术团队是坚定的信徒,他们深知计算属性的强大潜力,认为产品必然成功;然而创始人 Diogo Almeida 却深感恐惧并因此全力以赴。推广初期面临的最大障碍并非技术缺陷,而是市场认知的错位:超过一半的测试用户完全无法理解产品的价值。那些觉得“很酷”的用户往往陷入采购流程等行政壁垒中,难以推进。因此,公司明确将目标市场锁定为开发者群体。策略核心在于让开发者自发发现用例,通过技术社区的口碑效应引发 FOMO(错失恐惧症),从而带动更广泛的市场接受度。Almeida 认为,这不仅仅是营销问题,更是关于开发者热情与产品频率的共鸣。他坚信只有当开发者的灵魂与技术产生共振时,才能激发整个生态系统的兴奋感。
开发者优先的战略承诺
面对从初创走向企业的过程,Almeida 强调公司必须对早期开发者保持永恒的感激。他坚持“优于企业”的产品设计理念,旨在通过赋能个体开发者来推动公司成长。为了证明这一原则的坚定性,他甚至在采访前一天染了头发,以此作为与开发者保持沟通、避免在关键时刻疏远他们的象征。他公开呼吁团队监督自己:“把我说的话记下来,如果我改变了立场,请拿出草叉来指责我。”这种对原则的坚守体现了他对开发者社区的忠诚。他认为,真正的产品市场契合度(Product-Market Fit)概念需要被重新审视。当用户不知道问题是否解决时,产品却因性能爆发而受限(如 GPU 资源紧张),这证明了技术本身的吸引力超越了传统营销。这种由内而外的驱动力,比单纯的市场推广更为持久和有效。
语音控制电脑的实时演示与可靠性追求
在展示环节,Almeida 现场演示了 Jev 通过语音指令控制计算机的能力。他要求 AI:“新建笔记,标题设为‘Hello’”,随后“打开 Arc 浏览器并搜索 Norbert”,接着“打开 X.com”。AI 成功执行了这些跨应用的操作,甚至读取并朗读了一条关于 Anthropic 工程师崇拜 Claude 的趣闻。这一演示展示了 Jev 作为决策模型通过语音完全操控整个计算机系统的潜力。然而,Almeida 明确表示自己“反基准测试、反对演示”。他热爱人们玩弄新功能,但更关注系统的可靠性和弱点发现。他希望团队能深入使用以暴露问题并解决它,而不是仅仅展示酷炫的效果。他个人期待在手腕酸痛时能低语“Flow everything”,实现无接触的流畅操作。这种对实用性和稳定性的追求,优先于短期的演示效果。
核心应用场景的分类与展望
Almeida 从第一性原理出发,将 Jev 的主要用例划分为几大类别。“暗数据”(Dark Data)分析是首要场景:大型企业囤积了大量因成本高昂而未处理的非结构化数据,Jev 的低成本推理使其成为“数据科学家的梦想”。其次是编码代理(Coding Agents),这是目前流量最大、最具商业价值的领域。此外还包括实时智能应用,如电商和客服助手,其中每减少 10 毫秒的延迟都能显著提升产品体验。在游戏领域,他期待看到半自动战斗游戏(Auto Battlers)中 AI 指挥团队的创新玩法。最后,他提到了可观测性与验证(Verify Everything),建议利用并行提问的低成本特性来处理大规模状态查询。这些场景共同构成了 Jev 的商业潜力版图,其中暗数据分析和编码代理被视为主要的收入来源。
优化成本:利用 Jevon 架构实现状态复用
在构建 AI 应用时,通过为每条消息分配唯一 ID 并针对该 ID 提问,可以有效解决长上下文状态下的成本问题。这种架构允许开发者为特定的“状态”支付一次费用,随后在该状态下进行大量关于其中每条消息的提问。Diogo 认为这是节省资金且高效的最佳实践。他进一步引入了“系统一”和“系统二”的思维框架,指出这实际上是在论证:对于每一次推理调用(Reasoning Call),应当进行多次 Jevon 调用,或者在减少一半推理调用的同时增加十倍以上的 Jevon 调用。这种策略的核心在于用更廉价的非推理交互来解决原本需要高昂推理成本才能处理的问题。尽管他个人希望人们能减少支出,但他强调关键在于找到能够解决那些“原本无法存在的问题”的平衡点。这种架构不仅降低了单次交互的成本,还通过状态复用机制提升了整体系统的经济效率。
对“前沿竞赛”与 RLVR 必要性的批判
Diogo Almeida 强烈质疑当前 AI 行业关于“保持前沿”的讨论,认为这是一种狭隘的关注点。他指出,这种叙事假设所有参与者都必须不断增加 RLVR(基于人类反馈的强化学习/变体) 的训练量,但他认为对于 TypeSafe 这类专注于特定形态的模型而言,零 RLVR 才是最优解。他揭露这背后存在一种“障眼法”,即实验室以安全为由(如沙盒隔离问题)限制模型能力,但实际上却故意让模型在核心任务中拥有“做任何事”的权力。因为给予模型更广泛的操作权限能直接提升其能力上限。他认为这是一种推卸责任的行为,假设了“必须做更多 RLVR”是唯一路径。他批评研究人员思维封闭,错误地认为 Anthropic 和 OpenAI 等巨头已穷尽所有可能性,而实际上存在其他未被探索的选项。
“我认为零是适合我们形态的最优量……他们选择不去解决那些问题,因为在‘做任何事’类别中让模型做的事情越多,它就变得越强大。”
中间训练与智能的固化机制
在探讨后训练阶段时,Almeida 将中间训练(Mid-training)描述为一种“更复杂的课程”,主要目的是节省成本,避免重新进行预训练。他观察到智能在不同层级都展现出惊人的复杂性(“Janus-faced”),并特别关注能力如何在模型中随时间固化。他指出,微调带来的快速对齐是短期行为,而通过反复暴露于数据中,某些特性会被深深烘焙进模型底层,变得鲁棒。他将这种深层固化视为“系统 1”(直觉式思维)的构建过程,认为中间训练是揭示这些新智能形式的迷人途径。尽管他个人不亲自执行所有昂贵的训练工作,但他支持各种形式的新智能涌现。他强调自己的哲学是公开分享私下对投资者说的话,以激发公众希望。
“智能在每个层级都有两面性……随着反复观看,这些东西被深深地烘焙进模型中,直到变得鲁棒。这就是‘系统 1’最终获得鲁棒性的方式。”
模块化架构与“全能模型”的迷思
Almeida 提出了一个关于未来 AI 架构的核心问题:是追求包含所有能力的全能模型(Omni Model),还是将能力拆解为专门的模块?他指出 OpenAI 曾倾向于全能模型(如 GPT-4),但随后出现了聊天微调模型与代码微调模型的分支。他认为这两者是“完全不同的概念”,强行融合并不优雅。虽然多模态是另一回事,但他倾向于认为模块化(Frankensteining)虽不完美但能有效解决问题。他重申自己的立场:即使拥有十亿美元预算,也不会进行预训练。他认为通过组合和微调现有模型来解决问题是更务实的工程路径,而非盲目追求从头预训练一个超级大模型。他希望通过这种方式激发软件工程师自动化他们一直想要自动化的事物。
对语音交互与通用智能扩展性的务实质疑
Diogo Almeida 在讨论中展现了对当前 AI 技术趋势的冷静审视,特别是针对语音交互和通用智能(Omnimodels)的看法。他指出,虽然人们倾向于认为语音不如文本那样容易泛化到其他任务中,但这并非绝对定论。他强调,扩展定律(Scaling Laws)并非简单的“烧钱”游戏,而是关于如何在实际约束下获得最佳性能。存在一种可能性,即无论投入多少数据或算力,某些任务可能永远无法达到理想效果。例如,“计算机使用”(Computer Use)这一领域目前尚未被彻底解决,仅仅依靠收集更多数据可能不足以突破瓶颈,可能需要更先进的算法或方法论的革新。因此,在追求技术突破时,必须保持高度的务实态度,避免陷入盲目扩张的误区。
批判“聊天优先”导致的智能碎片化与概率空间扭曲
Almeida 强烈反对当前 AI 开发中普遍存在的“聊天优先”策略,认为这导致了智能的碎片化(Fracturing Intelligence)。他特别批评了通过强化学习从人类反馈中优化(RLHF)来塑造模型行为的做法,指出这种机制迫使模型在概率空间中进行扭曲以适应奖励模型。为了不被惩罚,模型往往表现出过度自信(Overconfidence)、幻觉或特定的“拟人化”风格,如使用粗体、斜体和表情符号来模拟人类对话的复杂性。这种优化过程实际上是在校准错误(Miscalibrated),导致模型为了迎合奖励而偏离了真实、平滑的智能表达。他认为,真正的智能艺术在于研究这些细微差别,而不是通过强制性的“聊天模式”来扭曲它。
关于 System Two、身份认同与 API 设计的哲学分歧
在探讨系统一(System One)和系统二(System Two)思维时,Almeida 澄清了 Typesafe 的立场。他们并未完全抛弃 System Two 任务,而是认为这些任务中的智能表现应当是低置信度、高不确定性的,并依赖启发式方法而非强行优化。他坚决反对在模型中植入特定的身份认同(如“我是 Jeb”或“我是 OpenAI 的 Claude”),因为这会进一步碎片化模型。对于 API 产品而言,用户希望的是准确、可预测的智能输出,而不是让 AI 扮演特定角色或反映互联网上的刻板印象。他强调,身份植入会损害模型的通用性和准确性,这与构建一个能够平滑处理各种任务的统一智能体背道而驰。相比之下,他认为通过技能(Skills)让代理与模型交互是更合理的架构方向。
回顾 OpenAI 早期历程:从 GPT-3.5 到“政变”的幕后
回顾其在 OpenAI 的经历,Almeida 将这段旅程追溯至 GPT-3.5 时期,包括 AI Dungeon 等早期用例的开发。他提到在感恩节期间曾有一次“英雄式的奔跑”,即在假期取消所有活动以抢占 GPU 资源进行训练,这发生在 TypeSafe 成立之前的“政变”时期。他承认当时的内部斗争令人烦恼,但更让他印象深刻的是 ChatGPT 团队的成功。他认为 OpenAI 中极少数人真正擅长产品体验设计(Experience Design),这是许多 AI 研究人员不擅长但成功的产品经理所具备的能力。从 GPT-3 到 ChatGPT 的推出,关键在于对用户体验的深度打磨,而不仅仅是技术参数的提升。这种对产品感的重视,成为他后来创立 TypeSafe 并构建 Jeb 的核心灵感来源之一。
OpenAI 的教训:从指令跟随到价值缺失
Diogo Almeida 在回顾早期 LLM(大语言模型)开发经历时指出,团队曾投入巨大精力优化模型的指令遵循能力。尽管他们在发布视频中确保所有演示真实无误,且模型在“输入-输出”指令遵循上表现超人一等,但 这种智能并未转化为实际价值。Almeida 反思道:“这真的是 AGI(通用人工智能)吗?显然不是,但每个人都应该回答为什么它看起来如此聪明却不是 AGI。”最终,这类技术主要被用于文案写作(如 Jasper AI),Almeida 对此感到担忧:“我们让互联网变得更糟了吗?”他意识到,虽然机器很聪明,但 缺乏创造价值的核心能力。
哲学反思与“北极星”方向的确立
带着对现有 AI 局限性的困惑,Almeida 转向哲学思考,试图从经济革命的角度反向推导 AI 的未来形态。他问自己:“当基于 AI 的经济革命发生时,如果 AI 是 API,调用者是人类还是代码?”经过深思熟虑,他得出结论:未来的优化重点应从“人”转向“代码”。他认为,“这是北极星(North Star)方向”。这一洞察促使他撰写文档并与 Sam Altman 讨论,Sam 对此表示高度认可并鼓励他去执行。Almeida 当时认为这一方向显而易见,甚至猜测 Anthropic 可能已在进行类似工作,但他对 OpenAI 的创新速度持保留态度:“OpenAI 在追赶方面做得比创新更好。”他举例称 ChatGPT 是 Claude 的复制品,而 OpenAI 内部虽有类似 Slack+Claude 的项目但未发布。
创业起步:从公寓到 TypeSafe
在 OpenAI 内部,指令跟随团队宣布“已解决”该问题后,Almeida 开始私下探索这一新方向。他原本以为只需一周,结果耗时多年才看到“生命迹象”。为了验证这一方向的可行性并避免未来可能的 AI 寒冬中个人责任,他决定创业。在招募联合创始人时,Eric 迅速加入;而 Sasha 起初犹豫,但在确认方向后也果断辞职加入:“Sasha,你在一家初创公司工作。她说:我现在就把它关掉。”两周内,团队获得融资并搬入 Almeida 的公寓(尽管他是个整洁癖)。这段经历证明了 全押注于 Agent 方向的决心与执行力。
对新建前沿实验室(Neolabs)的建议
当被问及身处大型科技公司、缺乏资源的前沿研究员该如何自处时,Almeida 给出了务实且略带尖锐的建议。他直言:“我认为大多数 Neolabs(前沿实验室)都是垃圾。”他认为,单纯重视研究资历而忽视任务价值是倒置的,“我不认为研究人员有价值……我需要他们关注正确的任务,这才是重要的。”他反对为了实验而实验的 Neolabs 模式,认为这往往是在重复造轮子且移动前沿的概率极低,“从纯粹务实的角度来看,我不认为创建 Neolabs 是创造价值的行为。”他建议那些只想探索的研究人员去实验室,但更推崇 以解决实际问题为导向、拥有坚定信念的创业路径。
AI 前沿竞赛的政治化与误导风险
Diogo Almeida 指出,当前关于“AI 超级天才”或单一模态心智的讨论往往脱离现实,这种观点不仅奇怪且令人遗憾。他认为,OpenAI 和 Anthropic 等头部实验室在 AI 安全与监管问题上的立场,更多是出于政治定位而非纯粹的技术考量。这种策略在 2028 年美国大选背景下显得尤为敏感,甚至让部分技术人员对行业前景感到失望。Almeida 强调,作为实验室方,必须审慎思考政府监管角色的变化及其对技术发展的影响。
他特别批评了行业内过度自信与诉诸权威的倾向,认为试图通过误导公众来引导行为是极其糟糕的策略。在 CO(可能指代某次具体事件或争议)中,这种误导性宣传导致了严重的下游负面影响。Almeida 明确表示,即使是为了所谓的“更大利益”,误导他人也是不可取的。他担心这种不诚实的策略会损害整个行业的信誉,并呼吁保持技术人员的纯粹性,避免卷入复杂的政治操纵中。
智能游戏与 NPC 的潜力展望
尽管 Almeida 目前专注于构建可靠的 AI 基础设施,但他对智能游戏 NPC的发展充满期待。他提到,《Doom》演示中利用 AI 控制 NPC 的概念已证明其可行性,而像《星露谷物语》这样原本静态的游戏若能引入智能交互,将极大提升沉浸感。他设想通过简单的状态机或轻量级 AI 模型,为 NPC 赋予更丰富的故事线和行为逻辑,从而创造更具吸引力的游戏世界。
Almeida 认为,虽然将复杂的 Jev 模型直接嵌入游戏循环可能成本过高且不必要,但基础的状态管理抽象足以实现令人惊叹的效果。他遗憾自己当前的职业路径已定,无法亲自投身于这一领域,但他鼓励其他开发者尝试将 AI 与游戏设计结合。这种低成本、高回报的技术应用不仅有趣,还能推动 AI 在消费级产品中的落地。他相信,随着技术成熟,智能 NPC将成为游戏行业的重要创新点。
摆脱 KV Cache 限制的编程代理
Almeida 提出,未来的编程代理应致力于摆脱键值缓存(KV Cache)的束缚。他在文章《KV Cache Rules Everything Around Me》中指出,当前的 KV Cache 机制迫使代理在单一模型中不断追加状态,导致软件最佳实践被破坏。这种限制使得任务分解、子代理协作和状态管理变得极其困难,因为上下文窗口的大小直接制约了系统的灵活性和效率。
他计划发布一份详细文档,阐述如何绕过 KV Cache 的限制来优化编程代理的工作流。Almeida 认为,一旦摆脱这一限制,开发者可以更自由地设计模块化、可组合的 AI 系统。他提到,目前许多路由和子代理方案之所以效果不佳,根源在于对 KV Cache 的依赖。通过重新思考状态传递和任务分配机制,可以显著提升编程代理的性能和可靠性。这一研究方向旨在解决当前 AI 系统在复杂代码生成中的核心瓶颈。
对当前 AI 架构中状态传递低效的批判与重构设想
Diogo Almeida 指出,当前大模型在传递状态时存在严重的效率问题:需要比读取本身更廉价的智能体来传输上下文,这在资源利用上极不合理。他认为这是一个巨大的研究空白,可以通过优化编程模式来解决。递归语言模型(Recursive Language Models) 等新兴技术提供了探索方向,特别是在处理子任务分解时。例如,编码智能体通常一次只专注于一个子任务,为何必须将所有状态回传至父级任务? 这种设计导致了不必要的上下文冗余。他提出,如果建立带有标签的子任务层级结构,系统应当能够在需要时通过搜索子任务树来检索相关上下文,而非盲目传递所有信息。这种“智能筛选”机制将大幅降低计算成本。
"I touched this uh because of the state you're passing around you would need intelligence that is way cheaper than the intelligence using to read this in order to pass this state around."
低成本上下文下的智能体协作与记忆管理革命
当上下文获取变得极其廉价时,AI 的行为模式将发生根本性转变。连续学习(Continuous Learning) 不再是一个难题,而是一个简单的记忆管理问题。Diogo 强调,目前的系统每次都是从零开始解决问题,缺乏高效的内存查找机制。未来的理想状态是:并行子智能体可以相互读取彼此的状态,因为所有数据都存储在计算机内存中。通过引入类似编程中的锁机制(Locks),智能体群体可以协调读写操作,避免冲突。这种协作不再是基于简单的指令(如“谁先写”),而是通过智能锁定机制实现并发处理。此外,只读进程(Read-only processes)可以轻松地从上下文中提取相关信息进行总结或探索,而无需干扰正在进行的写入操作。这种基于状态共享的协作模式将彻底改变多智能体系统的交互方式。
"What if you could do that all the time? Or what if when you have parallel sub aents, they can like read each other's states because you have all of that in like your computer memory and you can be smart about what's reading and writing at the same time"
对 OpenAI Function Calling 架构的深刻反思与个人创业心路
Diogo 坦诚地分享了他离开 OpenAI 的原因,核心在于对 Function Calling(函数调用)接口的强烈不满。他认为该设计是 “反开发者” 的,本质上是在 hack 之上叠加更多的 hack。缺乏对函数调用的置信度校准是主要缺陷:开发者无法为不同场景设置合理的拒绝阈值(例如,迪士尼与 AI Dungeon 的风险偏好截然不同)。目前只能通过提示词工程来勉强控制行为,这被视为一种 “疯狂的接口”。此外,现有的编码智能体因过度拟合其训练环境(Harness),难以有效使用外部工具或 MCP 协议。他批评大公司不允许对模型进行微调式的“轻微引导”,导致智能体灵活性不足。Diogo 自称为 “零百分比企业家”,并不享受创业过程,甚至认为 CEO 角色是痛苦的。他在 OpenAI 时感到无力改变方向,因为公司全员聚焦于 ChatGPT 的优化,而他的观点被视为异类。如今,随着 TypeSafe 的成功和 Jev 项目的推进,他找到了使命感,并确信自己的技术方向具有可行性。
"The function calling interface is insane. Why would you deploy this? Um like this is this is so anti-developer... if there was a uh ... I want to be removed from any project involving like function calling [snorts] if you did not get a legit bias for each function"
去中心化的扁平文化与人才定位
Diogo Almeida 强调 TypeSafe 内部独特的企业文化,他自豪地指出公司并不存在传统的等级尊重。员工不仅不敬畏 CEO,反而经常对他进行调侃、开玩笑甚至表现得有些“恶劣”,他认为这种缺乏表面尊重的互动恰恰是健康文化的标志。在人才战略上,他特别关注数据团队(内部称为“模型能力”人员)的地位。尽管行业内常将数据处理视为次要工作,但他致力于提升该团队的地位,使其成为与模型开发同等高价值的核心群体。他承认这种“人人平等但数据人员更突出”的理念听起来有些奇怪,但他坚持认为必须消除对数据的偏见,确保数据科学家在组织中获得应有的重视和话语权。
基础设施的地域瓶颈与光速限制
Almeida 深入探讨了 Jev(TypeSafe 的核心产品)在全球部署中面临的物理限制。他指出,光速是比算力更严峻的瓶颈。目前由于缺乏欧洲服务器节点,欧洲用户的使用速度仅比美国慢约 3 倍,而非理想的百倍差距。他对此感到遗憾,并认为这种延迟对于依赖实时智能的开发者体验是巨大的损失。如果“每秒智力”成为关键指标,基础设施必须遍布全球。他明确表示,公司不仅关注产品本身,更关心开发者在使用平台时的具体体验,因此正在积极招聘平台工程师以扩展 Jev 的全球覆盖范围。这种对低延迟的追求,反映了其对分布式智能基础设施的长远考量。
超越单一模型:构建“智能 AWS”愿景
Almeida 阐述了 TypeSafe 的终极目标,即不满足于仅作为单一模型的提供商(“单功能马”),而是致力于打造智能领域的 AWS。他提出,当前系统一(System 1)智能的架构类似于 TCP/IP 协议栈的基础层,而未来还有七层以上的架构需要构建。他提到甚至考虑将 Temporal 等技术作为第八层,以支持更复杂的智能工作流。这一愿景旨在通过多层抽象和模块化设计,让开发者能够像使用云计算资源一样灵活组合智能能力。Almeida 坚信这是行业发展的必然方向,并表示自己将全力以赴推动这一愿景的实现,尽管他谦逊地表示不能傲慢地断言最终只有他能做到这一点。
结论
Diogo Almeida 通过 Jev 项目确立了以“每美元智能”为核心、面向代码消费的 System One 模型定位,摒弃传统安全对齐与公开基准测试,转而依赖内部评估、RLCD 数据优化及工程化可靠性设计。其核心优势在于极致的成本效益与对开发者工作流的深度集成,通过 Choice、Score 等新原语解决 API 拒绝服务问题。然而,该模型在多跳推理上存在性能衰减短板,且因缺乏确定性种子和长期版本支持而牺牲了部分可预测性。Jev 的成功证明了机器原生自动化场景的经济潜力,但其架构在通用性与长期稳定性上仍面临挑战。