我的语音辅导工具中的大语言模型(LLM)并不决定课程何时结束。它不判断用户是否答对了答案。它也不决定下一步该做什么。所有这些都由一个控制框架(harness)来负责。大语言模型只需出现并进行对话即可。

每一位尝试部署多步骤流程代理的工程师都经历过这种困境:模型在应该继续时过早宣布完成,跳过检查步骤,在某个环节陷入循环,或悄悄丢弃一半的操作流程。提示工程(Prompting)能解决大部分问题,工具使用规范能让你更接近目标。而最后一段距离——即演示版与真正用户每天登录使用的系统之间的差距——在于将流程控制权掌握在大语言模型之外。

Ace 是一款投入生产环境的语音辅导工具。课程本身是一个小型状态机:包括介绍、教学、检查、评分、推进和总结。每个节点向大语言模型提供一个狭窄的契约:执行此操作,返回彼结果。控制框架验证返回结果,推进状态,并决定下一步动作。当大语言模型试图跳过步骤时,控制框架会忽略它;当大语言模型试图宣布课程结束时,控制框架会检查实际的完成信号。对于代理绘制的共享画布、评分以及中断处理,都遵循这一模式。

接下来是七分钟的内容:我们将讨论状态机、契约结构、我曾尝试赋予大语言模型更多权力但最终撤回的几个案例,以及一份简短列表,列出在任何流程代理中都不应交由大语言模型掌控的决策事项。

演讲者介绍: Ornella Bahidika(微软):Ornella Bahidika 是微软的产品经理,负责开发帮助组织优化协作、 workplace 技术和人工智能驱动体验的解决方案。 LinkedIn:https://www.linkedin.com/in/ornella-bahidika/

Joel Allou:Joel 致力于构建语音优先的人工智能辅导工具。作为独立创始人,他专注于用于个性化学习的代理系统,特别关注能使流程代理可靠的基础设施。 LinkedIn:https://www.linkedin.com/in/joel-allou/