我的 AI 语音导师并不运行在前沿模型上，而是运行在一个小型模型上。原因并非成本。语音体验的成败关键在于延迟，而围绕模型构建的支撑架构才是让它显得智能的关键所在。
当你构建语音代理时，时间就是残酷的。停顿如果比屏住呼吸的时间还长，就会让人感觉系统出了故障。因此，你真正的预算限制是“首个 token 的生成时间”，而不是基准测试的分数。一个需要思考一秒钟的大模型，就已经输掉了整个对话场景。因此，模型的选择是被迫确定的：选择延迟预算允许范围内的最快模型，然后将智能补在其他地方。
我将展示这在我的 AI 语音导师中是如何实现的，该导师构建在一个小型、快速的模型之上。该模型无需记住学生已知的内容、规划课程或决定下一步该做什么。确定性系统负责所有这些任务，并在每一轮交互中向模型提供一个紧凑、结构化的简报。留给模型的唯一任务，正是它真正擅长的事：说话。这种支撑架构并非事后附加的成本优化手段，而是让你能够使用廉价且快速模型的根本前提。
七分钟。这是迫使人们做出抉择的延迟预算。为了适应这个预算，哪些功能必须从模型中剥离？无论提供多少支撑架构，小型模型在哪些方面仍然力不从心？
演讲者介绍： - Joel Allou：Joel 专注于构建语音优先的 AI 导师。作为独立创始人，他致力于开发用于个性化学习的代理系统，特别关注能使流程代理系统可靠运行的基础设施。 LinkedIn：https://www.linkedin.com/in/joel-allou/
- Ornella Bahidika（微软）：Ornella Bahidika 是微软的产品经理，她开发的解决方案帮助组织优化协作、 workplace 技术和 AI 驱动的体验。 LinkedIn：https://www.linkedin.com/in/ornella-bahidika/