能听到我说话吗？太棒了。大家好，嗯，欢迎几位偶然路过的朋友。很抱歉日程安排有所变动，也很遗憾你们没找到想要的安静工作区。好了，我们现在来看看 Gemini API 的一些智能体功能。在正式开始之前，我们先听一小段音频：“欢迎各位来到地球上最盛大的舞台。你们正站在历史上规模最大的 AI 工程师世界博览会的中心。让我们一起构建未来，好吗？”有人知道这是哪个模型吗？嗯……你、你不能回答。还有谁知道是哪个模型？没人知道吗？猜猜看，它以 G 开头。Gemini。没错，它是 Gemini 模型。但具体是哪一个？不是 Life 版本，不对。是的，这是 Gemini TTS（文本转语音）。这正是你想说的吗？不是哦。好吧，Gemini 的文本转语音功能确实是一个非常出色的表达性语音模型。你可以使用内联音频文本来引导它，支持流式传输，而且现在的延迟比之前低了很多。所以如果你正在寻找语音文本转语音服务，Gemini TTS 是个不错的选择。
接下来看看我们今天要做的事情。首先自我介绍下，我叫 Thor，在 Google DeepMind 负责开发者体验工作，主要涉及 Gemini API 和 Google AI Studio。如果你通过 API 使用 Gemini 模型，欢迎反馈建议。这里还有我的同事 Philip，他负责 API 上的托管智能体工作，如果你在使用相关功能也请告诉我们。这算是明天工作坊的预演吧。明天的工作坊将专注于 Gemini API，特别是实时对话智能体、多模态实时对话智能体等。我们会把相关内容都塞进去，所以实际上有很多功能已经上线了。我们特别关注 Gemini 的多模态能力以及生成式媒体模型。
其实这张幻灯片已经过时了，因为今天早上我们发布了一个新模型——有人知道是哪个吗？我们要发布的是 Omni Flash，这是一个视频生成和编辑模型；还有 Nano Banana Light。Nano Banana Light 是一个非常令人兴奋的新模型，因为它显著降低了图像生成和编辑的延迟。接下来我会做几个演示。其中一个就是这里提到的例子，我称之为“Gemini Nano Banana 故事画布”。这是我最近用 VIP 代码搭建的，不过我的鼠标有点问题。我们可以让 Gemini Life（即 Gemini Live）构思一个故事，然后使用 Nano Banana Light 为这个故事生成插图。这有点像即兴戏剧表演，有人想先提供一个故事线吗？比如设定在台北的 1980 年代。
“台北市夜市霓虹灯闪烁着近乎魔法般的能量，倒映在湿漉漉的人行道和经过的摩托车镀铬件上。雨刚停，空气中弥漫着潮湿的雾气。在熙熙攘攘的人群中，一位年轻女子紧紧夹着一件奇怪发光的小物件。”1980 年代的台北发生了一件非常 exciting 的事，一种新型饮料诞生了。她在一个摊位前停下脚步，那里有个男人正用力摇晃着一个金属杯，制作出泡沫丰富、乳白色的混合物。他把杯子递给顾客，那人睁大眼睛喝了一大口，品尝着底部奇怪的木薯珍珠。这就是珍珠奶茶的诞生，它甜蜜而富有嚼劲的魅力如野火般蔓延开来。
大家可以看到这里的工具调用过程，Gemini Live 接收到了工具调用指令，然后通过 Gemini Interactions API 实时生成图像。虽然实际图像生成仍需两到三秒，但这已经相当令人印象深刻了。如果你查看这里的代码，我们会使用 Interactions API。这个 API 非常棒，因为它是一个有状态的 API，意味着我们可以无缝地串联我们的交互过程。可以看到第一次图像生成时没有之前的交互 ID，但在下一次生成中我们传入了这个前序交互 ID 给 Interactions API。这意味着我们保留了之前交互的上下文，并可以在生成中延续它。
具体到我们的演示来说，这意味着第一次交互生成的图像具有特定的视觉风格和角色特征，我们可以继续这一交互过程，从而在这些生成中保持一致性。如果你还没尝试过 Interactions API，它是与 Google DeepMind 所有模型以及智能体交互的统一 API。强烈推荐大家试试，这是一种非常酷的与 Google DeepMind 所有功能互动的方式。好了，刚才展示的是生成式媒体方面的一些内容，我们今天早上发布了 Nano Banana Light。
此外，我们在音频方面也最近上线了实时翻译模型。有人试过 Gemini 3.5 Live Translate（实时翻译）吗？好的，有几位朋友用过。太棒了，那我们也来试一下这个功能吧。我要创建一个实时翻译会话，请大家用手机扫描屏幕上的二维码。如果我开启麦克风，就能将我的语音输入到这个会话中。然后你在手机上选择你偏好的语言。我们可以看到这里显示的是德语，也就是说现在有人正在听我用德语说话。如果你也在收听，可能需要戴耳机。
如果你有降噪耳机，现在就可以用你偏好的语言听这场演讲了。Gemini 实时翻译是一个非常出色的模型，它几乎是实时的翻译效果。当我说话时，一旦模型识别出我所讲内容的语境，它就会开始实时翻译成你所需的语言。我看到有人正在收听，有听到声音吗？能听清吗？听起来不错吧？太棒了。这真的很令人兴奋，因为像这样的会议显然有着非常国际化的观众群体，所以我可以用我喜欢的语言演讲。比如我现在可以切换到德语继续讲下去。
Gemini 强大的实时翻译功能确实令人惊叹。这是一个非常了不起的模型，它能自动检测说话者使用的语言，并实时将其翻译为我们首选的语言。好的，今天在座的观众来自世界各地。有人正在收听中文版本吗？你在听中文版吗？哦，好的。我没听懂那个意思，不过没关系。这就是 Gemini 实时翻译功能。如果你想尝试一下，现在就可以把它添加到你的应用程序中。它已在 Gemini API 上提供使用，所以请务必试一试。这确实是一个令人难以置信的模型，我很想听听你们正在用它构建什么内容。
显然我们关注的是智能体（Agents）。对吧？你的智能体现在能听到我吗？我想这就是这次演讲的标题，毕竟 Gemini 自己拟定了这个标题。我们最新的实时对话模型叫做 Gemini 3.1 Flash Live。如果你之前在 Gemini App 中与过 Gemini，那你与之对话的正是这个模型。所以我们可以做一个小演示。这个演示是由 Gemini 在 Google AI Studio 中编码生成的。
还记得以前听广播的日子吗？就在不久之前，你可以打电话给电台主持人点播歌曲，对吧？你可以许愿要一首歌。这里的理念是一样的：我们使用 Gemini Live 作为我们的电台 DJ，并通过函数调用向 Gemini API 发出指令，从而利用 LIA 3——我们的音乐生成模型——按需为我们生成一些音乐。好的，让我们试试这个现场演示吧。
大家好！你现在正在“实时点唱机”直播中。今天我们要为你制作什么劲爆曲目呢，伙计？为了搞定这首曲子，我需要更多一点想法。你们考虑什么流派？是节奏明快的合成器流行乐、舒缓的爵士乐，还是其他更有……歌词氛围方面有什么要求？请给我们一些细节。
“是的，能来一首高能量的雷鬼顿（Reggaeton）吗？关于在旧金山举行的 AI 工程世界博览会。” “听起来真是一首绝佳的曲子，伙计。关于 AI 工程博览会的能量爆棚的雷鬼顿。太棒了。为了让这首歌绝对登顶，有没有特定的科技元素或大牌人物想要加入？还是我们就专注于那种盛大的节日氛围？” “是的，请给我惊喜。”
“没问题，朋友。准备好迎接巨大的音乐惊喜吧，正在生成这首曲子。将雷鬼顿节奏与博览会的科技热潮混合在一起。这会让你的耳机炸裂的！公平的感觉，让我们走上舞池。神经网络启动。确实具有突破性。聪明的算法在跳舞。科技先驱们在交流。这就是创新。低音线沉重地脉动，你能感觉到热度吗？合成器刺耳声令人兴奋。动起来！这就是我们的风格。”
刚才那段真的很酷，你还用了多语言呢，不错。谢谢。“不客气，伙计。很高兴你喜欢这种风味。保持这些大想法的涌现吧。这个点唱机永不眠息。接下来我们要播放什么？感觉。” “好吧，嗯，是的，你自己也可以尝试一下。这是一个在 Google AI Studio 中构建的演示。如果你想的话，可以在 AI Studio 中分叉（fork）这个项目并继续自行探索。”
我知道这个应用程序在你的商业背景下可能并不一定那么有用，如果你正寻找那样的解决方案的话。但我认为其中的各个组件绝对是有用的。例如，如果你在构建实时对话智能体，你需要它们具备多语言能力、拥有工具调用等功能。在这个例子中，我们只是给智能体一个通过 LIA 3 按需生成音乐的工具调用。
当然，这也可以直接调用你的 CRM（客户关系管理系统）以获取客户信息，或者在后端创建新的工单。所以，我希望你带走的核心概念是这种你可以构建的实时多模态对话体验。通过这种方式，使用 Gemini 3.1 Flash 实时对话模型进行构建的途径是 Live API。
Live API 是一个低延迟的实时语音和视觉 API。因此，你可以构建多模态的 Live 实时交互。这意味着你拥有一个有状态的 WebSocket API，在其中创建一个会话，然后通过该 WebSocket 向模型实时发送文本、音频和视频帧。模型随后将以音频块的形式实时响应，你可以在应用程序中流式传输这些音频块。
除了音频外，你还会得到所说的内容的转录文本。如果你以前使用过语音智能体，这与传统的级联式语音智能体管道略有不同，因为这是一个原生音频模型。该模型本身不经过文本处理，而是智能直接内嵌于音频模型中。因此，音频模型可以自然且原生地理解语音，并能用支持的 90 种语言中的任何一种进行响应。
这使得我们能够在不同语言之间非常流畅地切换。这里的关键功能包括：多语言支持，目前在预览版中支持 90 种不同的语言。我们可以打断（Barge-in），即可以中断模型，对吧？如果我们的 DJ 说话太长，我们可以打断它。我们还提供了工具调用以及音频转录功能。
现在，如果你在构建实时对话应用程序或实时多模态应用程序，你知道实时媒体在扩展方面可能相当具有挑战性。所以我们有一系列优秀的合作伙伴阵容。例如 LifeKit、Pipecat，他们也在展会现场。我建议你去拜访他们，他们会做一些很酷的事情，让你能够快速上手并使用 Gemini Live API。
好的，如果你现在心想：“听起来不错，我想要这个。”那么尝试它的最佳途径是通过 Google AI Studio。我们在这个域名 ai.studio 上投入了大量资金，所以如果你们使用这个平台，我会很感激。我们需要一些投资回报率（ROI）。访问 ai.studio/live 即可试用该模型，你可以与它对话并了解其可用功能。
让我们现在就做一下演示。我们访问 ai.dev/live，我们也拥有这个域名。是的，请也使用那个平台，那个也不便宜。看，ai.dev/live 就在这里。在这里，如果你想的话，也可以试用实时翻译模型。但我们可以在此选择我们的 Gemini 3.1 Flash Live 模型，可以选择不同的声音，例如我喜欢这里的 Puck。
此外，我们还可以启用基于 Google 搜索的接地（Grounding）功能。显然，模型训练于大量信息之上，但它本身并不直接访问……
实时信息，对吧？通过赋予它访问 Google 搜索的权限，它可以自行查询，这基本上就像是一个内置的功能调用。如果我们询问它今天的天气状况，或者德国队在世界杯上为何表现得如此出色，我们都可以做到这一点。它可以利用 Google 来查找这些信息。好的，让我们来试一试吧。“嘿，你能听到我吗？”“是的，我能清晰地听到你。”
今天有什么我可以帮你的吗？“你能看到我吗？”“是的，我能清楚地看到你。你穿着一件黑色衬衫和一顶黑色帽子，坐在蓝色背景前。有什么特别想展示给我的吗？”“嗯，我卫衣上写的是什么？”“我能看到用黄色字母印着的‘Gemini’字样。还有什么其他需要我识别的吗？”
嗯，好吧。我想我的普通话刚才没发挥好。“请问你也会说普通话吗？”“是的，我也会说普通话。你现在想说什么呢？是关于什么的？”
好吧。如果你不读中文，我深表歉意。我只是在问模型它吃了什么，然后我说因为它是一个模型，所以不需要进食。嗯，好的。那么，这就是你开始使用 Gemini AI Studio 最简单的方法。如果你想了解更多关于如何使用 Gemini 和 Gemini Live API 进行开发，请明天早上来房间 2009（我想是这里）。请查看日程安排，因为时间偶尔会有所变动。除此之外，Dankur，谢谢。再见。