了解更多：https://bit.ly/3Tg20Zd

当大语言模型生成文本时，大部分时间都花在将模型权重从内存移动到计算单元上，而不是用于数学计算本身。

在 GPU 上，这些权重位于芯片外部，大型模型可能会被分割到多个芯片上，因此在计算开始之前，数据需要来回传输。

这种延迟会不断累积。一个智能体工作流可能会生成成千上万个令牌，然后才向用户返回任何内容。

在我们与 Cerebras 合作开发、由 Zhenwei Gao、Sebastian Duerr 和 Sarah Chieng 教授的新短课程《使用 Cerebras 进行快速 LLM 推理》中，你将构建基于专为消除该瓶颈而设计的硬件的应用程序。

Cerebras 的晶圆级引擎（WSE-3）是一块大小如大号餐盘的单芯片，足以将模型的权重保留在芯片上，紧邻计算单元。

令牌的输出速度比典型的 GPU 设置快数倍，这既改变了你能构建的内容，也改变了构建方式。

你能构建什么：实时、对延迟敏感的应用程序，这些应用在每次响应都带有延迟时是不切实际的，例如实时翻译和语音代理。

你如何构建：一旦响应在用户察觉等待之前到达，你就可以去掉加载旋转图标、异步队列和预计算结果，直接调用模型。

在本课程中，你将学习如何：

  • 比较 GPU、TPU 和晶圆级引擎如何处理内存到计算的瓶颈，以及为什么将权重保留在芯片上可以最小化数据移动。
  • 构建一个实时个性化用例，根据用户与网页的交互动态调整网页内容。
  • 组装一个实时多工具工作流，在一次快速响应中运行市场信号的实时分析。
  • 采用 Codex 多智能体编码的具体习惯，在任务之间进行验证，以便尽早发现问题并交付更干净的代码。

立即报名：https://bit.ly/3Tg20Zd