Gemini 语音合成与演讲者介绍

本次演示由 Google DeepMind 开发者体验团队 Thor Schaeff 主持，重点展示 Gemini API 在实时多模态对话代理中的应用。开场通过一段极具表现力的语音合成音频引入话题，该声音流畅自然，甚至让现场观众误以为是真人或特定知名模型。Thor 指出这是 Gemini TTS（文本转语音）模型，它支持内联音频文本来引导情感表达，并具备流式传输能力。相较于早期版本，现在的延迟已大幅降低，使其成为市场上极具竞争力的语音合成方案。Thor 提到其同事 Philip 负责 API 中的托管代理功能，两人共同预告了次日关于实时多模态对话代理的工作坊内容。此次演示旨在展示 Gemini 的多模态能力，特别是生成式媒体模型的最新进展。

Nano Banana Light 与故事画布演示

Thor 介绍了当天上午刚发布的两个新模型：Omni Flash（视频生成与编辑）和 Nano Banana Light。后者显著降低了图像生成和编辑的延迟，非常适合快速迭代场景。为了展示这一能力，Thor 现场演示了“Gemini Nano Banana Story Canvas”项目：利用 Gemini Live 生成故事文本，并通过工具调用触发图像生成。现场观众即兴设定了“1980年代台北夜市”的场景，Gemini 随即生成了包含霓虹灯、湿漉漉的街道和珍珠奶茶起源故事的描述。Thor 强调，Interactions API 是一个有状态的统一接口，它允许开发者通过传递 previous_interaction_id 来保持上下文一致性。这意味着后续生成的图像能继承前一张图像的视觉风格和角色特征，实现了跨代际的视觉连续性。尽管图像生成仍需 2-3 秒，但在实时互动中已属快速响应。

Gemini Live Translate 实时翻译实验

在音频领域，Thor 展示了近期发布的 Gemini 3.5 Live Translate（实时翻译模型）。他邀请观众扫描屏幕上的二维码，通过手机应用加入翻译会话。Thor 开启麦克风后，系统实时捕捉他的英语演讲并转换为德语音频输出给听众。该模型具备近实时的翻译能力，一旦识别出语境即可开始流式传输译文。Thor 现场切换至德语继续演讲，以验证翻译的流畅度和准确性。这种技术打破了语言障碍，使得国际会议中的多语种实时交流成为可能。听众通过降噪耳机即可听到高质量的即时翻译，展示了 Gemini 在跨语言实时通信中的强大潜力。Thor 总结称，这种低延迟、高准确率的翻译体验是构建全球化 AI 代理的关键基础设施。

原生音频模型与多语言无缝切换

Gemini Live Translate 是一款令人惊叹的模型，它能够自动检测说话者所使用的语言，并实时将其翻译为我们首选的语言。这一功能使得构建真正国际化的应用成为可能。该模型原生支持 90 种语言，这意味着智能体可以在不同语言之间非常流畅地切换。与传统的级联语音代理管道（先转录为文本，再处理）不同，Gemini 3.1 Flash Live 是一个原生音频模型。其智能直接内嵌于音频处理中，而非经过文本中转。因此，该模型能够自然地理解语音并直接以任意支持的语言进行响应。

"It automatically detects the language the speaker is speaking and then translates it in real time uh into our preferred language."

这种架构不仅降低了延迟，还保留了语音中的情感和语调信息。通过 Life API（低延迟实时声音和视觉接口），开发者可以建立状态化的 WebSocket 会话。在这个连接中，应用可以向模型实时发送文本、音频和视频帧，而模型则以音频块（audio chunks）的形式实时返回响应。除了音频流，开发者还能获得对应的文本转录内容。这种原生音频处理能力是实现多语言无缝交互的核心技术基础。

实时语音智能体演示：从 DJ 到音乐生成器

为了展示 Gemini Live 的实际应用能力，演讲者构建了一个名为 "Live Jukebox" 的演示应用。在这个场景中，Gemini Live 扮演电台 DJ 的角色，并通过函数调用（Function Call）连接到 LIA 3 音乐生成模型。用户只需通过自然语言描述想要的歌曲风格、氛围甚至具体主题，DJ 就能即时生成音乐。

"Yeah. Can we get like a really high energy ragaton, please? About the AI engineering world's fair here in San Francisco."

在演示中，用户要求生成一首关于旧金山 AI 工程博览会的高能量雷鬼顿（Reggaeton）歌曲。DJ 随即确认需求，并调用工具生成包含神经网络、算法等科技元素的歌词和旋律。整个过程展示了实时多模态对话体验。用户不仅可以听到生成的音乐，还能看到歌词字幕。这种交互方式证明了智能体不仅能听懂复杂指令，还能通过工具调用执行具体任务。该演示虽为娱乐性质，但其背后的组件——多语言支持、工具调用和实时响应——对于构建企业级应用极具参考价值。

核心特性与开发者生态支持

Gemini Live API 提供了多项关键功能，旨在解决实时媒体应用的开发挑战。首先是打断能力（Barge-in）：如果用户觉得 DJ 说话太长，可以随时插话并中断模型输出。其次是工具调用（Tool Calls）：智能体可以像示例中那样生成音乐，也可以连接 CRM 获取客户信息或在后端创建工单。音频转录（Audio Transcription）功能则确保了对话内容的可记录性和后续处理。

"The model itself does not go through text, but rather the intelligence is baked into the audio model."

为了帮助开发者快速上手，Google 推荐了 LifeKit、Pipecat 等合作伙伴工具。这些工具简化了与 Gemini Live API 的集成过程。开发者可以通过 Google AI Studio（ai.studio/live）直接体验模型，选择不同音色（如 Puck），并启用基于 Google 搜索的 Grounding 功能以增强事实准确性。这种低代码/无代码的实验环境降低了试错成本，让开发者能迅速验证实时语音智能体的可行性。掌握这些核心特性并利用生态工具，是构建下一代多模态交互应用的关键。

实时语音与视觉交互演示

本次演示的核心在于展示Gemini模型在实时音频输入处理方面的能力，通过内置的函数调用机制连接Google搜索服务。演讲者首先测试了基础的听觉反馈，确认系统能够完美识别用户语音。随后进入视觉交互环节，模型不仅确认了视频连接状态，还能准确描述用户的物理特征。它识别出用户身穿黑色衬衫、戴着黑色帽子，并坐在蓝色背景前。这种细粒度的视觉识别能力证明了模型在处理实时视频流时的精准度，能够针对用户的具体着装和背景进行详细反馈。

"Yes, I can hear you perfectly. ... Yes, I can see you clearly. You're wearing a black shirt and a black hat sitting in front of a blue background."

多语言支持与视觉细节识别

在确认基础功能后，演示进一步挑战了模型的多语言能力。演讲者尝试使用普通话（Mandarin）与模型交流，系统迅速响应并确认具备中文口语交互能力。尽管演讲者自嘲普通话水平有限，但模型成功理解了其意图——询问AI是否进食。这一环节展示了Gemini在跨语言场景下的鲁棒性。同时，模型继续发挥视觉优势，识别出用户卫衣上印有黄色的“Gemini”字样。这种即时性的物体与文本识别，结合多语言对话能力，构成了一个完整的实时智能代理体验闭环。

"Yes, I can speak Mandarin, too. What would you like to say now? ... I can see the word Gemini printed in yellow letters."

技术实现路径与后续学习指引

从技术架构角度看，Gemini之所以能回答关于天气或足球比赛等实时信息问题，是因为它集成了Google搜索功能。这相当于为模型内置了一个强大的函数调用接口，使其能够主动获取外部最新数据。对于希望深入掌握这一技术的开发者，演讲者推荐了Gemini AI Studio作为入门工具。为了进一步学习如何构建基于Gemini Live API的应用程序，演讲者预告了次日早晨在2009房间举办的专题研讨会。这一部分强调了从演示体验向实际开发转化的路径，鼓励观众通过官方渠道获取更详细的构建指南。

"by giving it access to Google search, it can actually go off and it's basically like a built-in function call."

结论

Gemini API通过原生音频模型与Live接口，确立了实时多模态交互的技术优势。其核心突破在于消除文本中转带来的延迟与情感损耗，实现90种语言的无缝切换及毫秒级响应。演示证实了系统在视觉细粒度识别、动态工具调用（如音乐生成）及打断处理上的高鲁棒性，且延迟已大幅优化至具备实用价值。

然而，图像生成仍存在2-3秒处理耗时。该方案适用于对实时性、多语言及上下文一致性要求极高的场景，如全球化客服或互动娱乐。开发者需依赖官方生态工具降低集成门槛，方能充分发挥其低延迟与状态化会话的优势。