直播解析谷歌Gemini 3：“AI 全模态”时代与Scaling Law的极致执行【101 Live】

开发者视角：编程能力与Agentic IDE的深度实践

从开发者的实际体验来看，Gemini 3在编程辅助领域展现了显著的变化。虽然其在Switch Benchmark上的跑分并非最高，但已非常接近当时的SOTA模型Cloud Sony 4.5。具体性能数据对比如下：

在应用层面，Nathan重点体验了三个产品。首先是主App中的编程功能，它允许用户直接生成前端小程序，甚至调用摄像头和麦克风进行交互反馈。然而，这种模式更侧重于前端快速原型开发，在涉及后端部署或复杂Agentic框架调用时存在局限。为了解决这一问题，Google推出了Anti Gravity这一专为开发者设计的Agentic IDE。

“它完全是希望这个AI coding的这个agent能够非常自主地帮你去完成任务。”

Anti Gravity的独特之处在于其双视图设计：Editor View用于展示单个Agent的代码修改过程，而Manager View则允许用户像管理者一样调度多个（如8-10个）Agent协同工作，执行代码审查或单元测试。其最大亮点在于集成了Browser Use功能，利用Google对Chrome浏览器的底层API权限，实现了开发与测试的自动化闭环。尽管在复杂文件上传等场景仍需人工干预，但这种端到端的自动化工具链极大地提升了开发效率。

创作者视角：小说续写中的情境理解与情节反转突破

对于非技术类用户，田博士通过小说续写这一主观Benchmark来评估模型能力。他指出，过去两年间大语言模型的文学创作经历了从“公文式口吻”到“风格匹配”，再到如今情境与情节深度理解的演变。早期的模型（如GPT-4、Llama早期版本）续写往往脱离原文风格，沦为平铺直叙的官方文档；而Gemini 2.5虽在环境描写上表现出色，类似“文科生”的细腻笔触，但在情节推动上缺乏张力。

Gemini 3带来的惊喜在于其对人物动机和情节反转的把握。田博士发现，模型不再仅仅描写主角内心独白（即“傻白甜”式的直白叙述），而是能够通过配角互动和环境氛围来隐含地推动剧情。这种处理方式使得续写内容具有了文学性的悬念和深度，甚至让作者产生了将其作为小说素材的念头。这表明模型基座在深层语义理解上有了质的飞跃，能够捕捉作者未明说的创作动机。

然而，在创造性思维方面，Gemini 3仍被视为优秀的“做题家”。田博士认为其在Brainstorming和科研创造性思维上尚未超越人类专家，仍需人工引导才能深入探讨复杂概念。此外，虽然它能生成可运行的3D游戏代码（尽管存在方向键映射等小Bug），但这主要降低了前端开发门槛，而非真正解决复杂工程问题。

全模态推理：ARC-AGI基准测试与多模态思维链的质变

Gavin从技术架构角度强调了Gemini 3在全模态（All-Modal）布局上的野心，特别是其在推理能力上的突破。他特别提到了ARC-AGI基准测试（Abstraction and Reasoning Corpus - AI），这是一个衡量少样本学习（Few-shot Learning）和元学习能力的关键指标。

“真正的人的智能是说你就算是看过一两遍example，你也能够快速的获取某种pattern和真的才是真正的intelligence。”

ARC-AGI测试的核心在于验证模型是否具备类似人类的模式识别与抽象推理能力，而非单纯依赖大数据记忆。在此之前，多数模型在该基准上的提升仅为个位数或百分之十几，而Gemini 3实现了质的突破，得分提升了百分之三十几。这一成绩证明了多模态模型在推理压缩力度上的优势。

传统的思维链（Chain of Thoughts, CoT）主要依赖单模态的语言自我对话，而Gemini 3通过多模态推理（Multi-modal Reasoning），能够融合视觉、文本等多种信息源进行更高效的模式提取。这种能力使得模型在面对全新问题时，能更快地从少量示例中提炼规律，从而展现出更接近人类直觉的推理能力。这不仅是分数的提升，更是Google在端到端AI技术栈上对“真正智能”定义的一次重要实践。

多模态原生架构突破：从对齐到融合

Gemini 3的核心变革在于其多模态原生（Model Native）的预训练架构，彻底改变了以往将语言模型与图像/视频结构通过Adapter进行简单对齐的“蓝色时代”模式。Google将多模态数据Mash up together（混合在一起）进行预训练，使得模型在底层就能同时处理视觉与语言信息。这种架构创新直接赋能了Screen Spot Pro等应用，模型不再依赖将屏幕截图转化为JSON结构再输入语言模型的繁琐步骤，而是直接在Foundation Model内部一边观看屏幕一边进行推理。这种端到端的视觉理解能力打破了传统OS Agent或Browser Agent的局限，为新的应用机会打开了大门。

“现在的话相当于就是它能够。在模型本身，foundation model本身就一边看着那个屏幕，一边就在语言里面进行reasoning。”

推理机制升级：思维树与自我验证工程

在推理能力上，Gemini 3引入了Tree of Thoughts（思维树）架构，取代了传统的线性Chain of Thoughts。模型内部具备Self-rewarding（自我奖励）机制，通过打分阈值自动判断哪些思路需要保留、适应或丢弃。这种结构允许模型并行探索多条推理路径，并基于Foundation Model之上包裹了一层Engineering Wrapper（工程封装）进行验证。这一变化标志着AI开发哲学从Prompt Engineering、Context Engineering向Environment Engineering（环境工程）的演进，即通过提供反馈环境和验证机制来提升模型的准确性与性能。

“它 actually 它是一个思维树，就是它其实是有多条思路并行的... 它可以从这里面寻找，就是我觉得真正那个 that is good idea, I could give you a validation.”

内部实测反馈：通用增强与视觉短板并存

根据Google AI组内部的早期用户反馈，Gemini 3在通用问答和Agentic推理方面表现优异，解决了2.5版本中严重的幻觉问题，回答更加简洁且准确。然而，在视觉理解方面出现了争议：小规模内部Benchmark显示，Gemini 3在Real-world Visual Understanding（现实世界视觉理解）上的性能反而下降，且Reasoning长度增加了2-3.5倍。这引发了对公开Benchmark是否真实反映产品性能的质疑，因为内部测试更贴近实际部署场景（如安防摄像头分析）。

编程能力与生态闭环：挑战Cursor但需时间验证

尽管社交媒体宣称“Coding之争已结束”，但内部反馈显示Gemini 3在辅助编程（Auxiliary Coding）场景下的表现并未全面超越2.5版本，用户仍倾向于使用Gemini 2.5进行代码编写。这主要是因为编程不仅是生成前端，更涉及后端逻辑、Corner Case处理及鲁棒性要求。Google通过构建从Nano到Pro的全家桶产品生态，包括对标CodeX+Cursor的IDE工具，提供了丰富的Problem Space来迭代模型。然而，真正的工程挑战在于如何处理代码索引、运行日志等动态信号，而非静态阅读代码。目前结论尚早，需更多深入评测验证其在复杂工程场景下的鲁棒性。

“真正的写code的人呢，其实他们更关注的是这个模型是不是能够做比较好的 instruction following... 这是一个 much more complicated engineering problem.”

预训练与后训练的协同优化

关于Gemini 3在模型能力上的突破，核心在于预训练和后训练的全面改进。虽然这听起来像是工程上的常规操作——即通过更好的数据、新架构或稳定性增强来提升每一部分的性能，但关键在于预训练的质量决定了后训练的难易程度。如果模型在预训练阶段足够聪明，它就能实现“一通百通”，后训练只需少量样本即可掌握任务；反之，若预训练不足，则需耗费巨大代价进行教导且效果有限。目前的反馈表明，Gemini 3的预训练表现优异，使得模型在面对新任务时具备更强的泛化能力和稳定性。此外，还有传言称谷歌修复了此前训练中的某些Bug，但这尚未经证实。

“预训练就相当于是一个把模型变得很聪明...如果聪明的学生呢，就是给一些样本，他就马上就通了。”

产品生态与Context Engineering的新方向

Gemini系列的迭代不仅体现在基座模型上，更在于其完整的产品生态对算法的反哺。从1.0到3.0，谷歌坚持多模态原生训练，并在2.5版本借鉴DeepSeek引入了Thinking Mode。值得注意的是，开发者API文档中隐藏了一个彩蛋：“Context Engineering is a way to go”（上下文工程是未来的方向）。这暗示谷歌可能在训练过程中通过思维链自动抓取和整合信息，而非仅依赖用户手动提供上下文。这种能力使得模型能像人类专家一样，先搜索整理资料再适配生成内容，从而大幅提升输出质量。对于开发者而言，基模能力的提升需要转化为具体的产品价值，如创造新的岗位（如Forward Deploy Engineer）和商业模式，而不仅仅是自动化现有流程。

“Context Engineering is a way to go... 谷歌是不是也在训练的过程中，通过一些数据或者思维链，让它自动产生这样的一个行为。”

硬件优势与Scaling Law的经济壁垒

谷歌之所以能更彻底地执行Scaling Law（缩放定律），根本原因在于其独特的硬件优势。与NVIDIA高达70%的毛利率不同，谷歌拥有完全软硬件整合的TPU集群。这种垂直整合能力使得谷歌在大规模训练、多模态数据处理等高成本环节上具备经济可行性。相比之下，缺乏自有硬件的AI公司（如Anthropic）或依赖外部供应商的团队，在执行极致Scaling时面临更高的经济阻碍。尽管多模态（尤其是视觉）的缩放效果尚未像语言模型那样显著，但谷歌凭借硬件壁垒，能够更坚定地投入资源进行底层优化。未来，随着模型能力的提升，硬件自主权将成为决定AI公司能否持续迭代的关键因素。

硅谷New Lab融资热潮与非主流AGI路线

在谷歌极致贯彻Scaling Law的同时，硅谷涌现出一批被称为“New Lab”的非主流小团队，致力于探索通往AGI的其他路径。这些初创公司近期受到风险投资（VC）的热烈追捧，在过去一个月内就有五家New Lab初创公司获得了高达25亿美元的融资。这些团队往往由顶级实验室的核心研究员创立，试图通过开源或垂直领域突破来挑战OpenAI和Anthropic等巨头。例如，Reflection AI由两名DeepMind研究员创立，旨在走开源路线直接竞争闭源模型；Periodic Labs则由前OpenAI研究负责人Leonidas创立，专注于利用AI自动化科学研究低能耗超导材料。此外，还包括Ilya Sutskever创立的Sif（Superintelligence）、Mirah Marati的Thinking Machine Lab等机构。这种资本流向表明，市场不仅关注Scaling Law的执行者，更在押注那些能带来范式突破的非主流派系。

田博士：从Scaling Law到神经网络涌现机制与可解释性

对于大语言模型背后的本质，田博士指出虽然Scaling Law具有极高的实用价值，但其指数级增长的计算需求终将受限于地球资源。他认为“Scaling Law意味着我们对这个世界的结构一无所知，只是希望模型去把这种结构学习出来”。他坚持研究神经网络的涌现机制（Emergence），即模型如何产生知识、学习能力以及内部表征是如何形成的。田博士反驳了“压缩数据等于智能”的简单观点，指出压缩软件并未产生新的智能，而神经网络却能通过其特定的结构实现良好的泛化能力。他主张从第一性原理出发，利用数学框架解释梯度下降优化过程中的规律，而非仅依赖实验总结。同时，他强调了AI for Code工具（如Cursor）对研究效率的巨大提升，称其能将实验迭代速度提高成百上千倍，从而加速对神经网络机制的理解。

于北博士：信仰力量、极限视角与人类学习的效率启示

于北博士从“有信仰的科学家”角度强调，白盒模型和AI基本原理的研究需要长期坚持，因为该方向不直接面向产出。尽管传统经济学逻辑失效（如无产品的Sif估值达50-60亿美元），但“信仰力量”正在发挥优势，支撑对智能本质的探索。他主张以“极限视角”和看似“疯狂的问题”来打破常规思维，将AI从工程学科转化为科学学科。于北博士担忧若Scaling Law是唯一法则，人类价值将被边缘化。他提出“希望它不是唯一的Law”，并呼吁研究者寻找替代法则。在数据效率方面，他指出人类大脑神经元约800-1000亿个（突触量级更大），但学习语言所需的Token数在13岁前远低于百亿甚至十亿级别。相比之下，当前模型依赖海量数据。他质疑能否以数量级方式突破当前的学习曲线，并认为机器人技术跳出原有框架、挑战人类最高层面活动（如科学发现），是机器重新发明文明而非简单蒸馏现有文明的希望所在。

机器人学的学习本质与研究窗口

在讨论Theory实验室的机器人研发时，嘉宾指出一个核心观点：不需要从头学习，因为系统是设计出来的且有模型。如果有精确的模型，只需进行局部的微小修正或系统辨识（system identification），利用统计学习理论即可实现高精度控制，这并非原生学习方式。然而，对比自然智能会发现：越高级的智能越依赖学习。例如，人类婴儿需要一年才能稳健行走，而猫狗只需一个月。这种长周期的学习需求意味着机器人领域目前对大厂而言ROI较低，常被裁员，但这恰恰是研究者的机会。当前Robotics领域类似AlexNet刚出现时的状态——部分可行但效率不高。这种非产业化阶段反而让研究者能静心思考，是入坑的好时机。但需注意聚焦范围，避免过于分散导致团队无法支撑。

Transformer架构的未来与Scaling Law的延续

关于未来3-5年是否会出现替代Transformer的新架构，嘉宾认为目前Mamba和AdaKV等状态空间模型已开始在长上下文场景中应用，通过混合注意力机制（如每三层加一层）提升效率。然而，完全取代Transformer尚早。Scaling Law尚未结束，Anthropic的Julian也指出其无放缓迹象。在追求极限时，Transformer可能因冗余而受限，但在当前阶段，优化架构的ROI不如继续Scaling。嘉宾预测：Transformer不会成为终极答案（That's all you need），就像LSTM一样会缓慢演变。长期来看，状态空间模型在物理过程模拟和Diffusion Policy在学习动作先验方面具有优势，架构创新机会依然存在。

生成式UI体验与世界模型的开源愿景

针对Gemini 3的生成式UI，嘉宾以Nano Banana为例：将一篇千字的OpenAI与NVIDIA经济关系文章转化为Illustrator风格的动态图表，信息获取速率大幅提升。这种交互让用户体验更好，但局限在于高度个性化，难以大规模普及给不同需求的用户。关于世界模型（World Model），目前有三条路线：Video-based（如Gemini 3的2D代表3D世界）、Mesh Gem（含物理碰撞体积）和Point Cloud/Government（如李学飞实验室成果，无物理体系但美术应用广）。嘉宾强烈支持开源模型与端侧Small Language Model（SLM），认为当前智能被锁定在大厂数据中心形成“数字集权”，普通人需付费API。未来通过端侧优化，让智能像电力一样普惠而非额外收费，才是AI for everyone的真正体现。

“越高级的智能越需要依赖于学习……Robotics这块儿，当然很多大厂都在纷纷的呃呃，最喜欢裁的就是 robotics team。”

“Scaling Law没有任何slow down的迹象……当你在追求极限的时候，architecture 肯定不应当是一个 transformer。”

“现在这个智能它被就是 trapped 在那些 G P U 大厂 data center 里面……我现在非常support就是open source。”