视频开场,博主与助手进行了简短问候后,随即演示了AI代理的实际应用能力。他指令系统读取下载文件夹中的“零售数据”Excel文件,并快速生成仪表板图像。在启用编辑功能后,系统成功创建了可视化图表。随后,博主要求基于同一数据集制作Power BI仪表板,指令执行完毕后,他又让系统播放YouTube上的放松音乐。随着Pederbe和Hellandon的舒缓旋律响起,博主短暂享受片刻宁静后关闭音乐,正式引入本期核心主题:利用人工智能和AI代理构建能听懂指令并控制电脑的数字分身。
博主强调,整个过程无需额外费力,所有必要文档已准备好供观众下载参考。由于项目涉及非硬编码的AI生成代码,最终结果可能与演示略有差异,但核心逻辑一致。他指出,虽然目前免费系统难以实现同等质量的效果,需要付费订阅支持,但即使没有预算,观众也可以通过观看视频理解技术原理及连接方式。视频中涉及大量技术参数和细节,均可在下载的PDF文档中查阅,方便随时复习和使用。
首先介绍所需软件环境:Visual Studio Code(VS Code)作为微软生态下的代码编辑器,是编写云端代码的核心工具。博主建议下载并安装VS Code,虽然Cloud Code或Codex编辑器也可用,但为了与演示完全一致,推荐使用VS Code。安装过程简单,只需一路点击“下一步”即可。此外,还需要Chat GPT用于图像生成及模块间的沟通协作。虽然聊天功能无需付费订阅,但由于核心工作将在云端完成,因此必须至少拥有20美元的云服务订阅权限。
接下来是11 Labs语音克隆工具的使用说明。这是一个用于生成语音的AI模型,博主本人购买了Creator E套餐以使用自己的声音克隆功能。如果观众对音色无特殊要求,基础订阅即可满足需求。博主声明与这些软件品牌无商业合作关系,但会在描述中标注广告信息。若希望克隆自己的声音,需在左侧“Voices”菜单中点击创建语音。建议使用优质麦克风或上传预先录制的高质量音频文件,以确保声音还原度更佳。
在语音克隆设置中,博主选择土耳其语作为输入语言界面(尽管视频为英语语境),系统会提示朗读特定文本以捕捉语调。他录制了一段包含自然停顿和强调的短句,指出标点符号对语气还原至关重要。由于初始录音不足10秒,系统判定数据量不够,建议朗读完整文本以获得更精准的结果。录制完成后,为语音命名并保存至“我的声音”列表中,随后通过操作菜单复制Voice ID。这个ID是后续开发中软件识别特定声音的关键凭证,必须妥善保存以备调用。
最后梳理系统后台的核心逻辑:首先利用Visual Studio Code在云端创建软件环境,构建数字分身的基础架构。一旦软件开发完成,电脑将实时监听用户的语音指令,并将其转录为数据进行处理。这一过程实现了从声音输入到系统响应的自动化闭环,是构建智能数字分身的关键第一步。整个流程结合了代码编辑、云端计算与语音识别技术,展示了AI代理在自动化办公场景中的巨大潜力。
换句话说,它会将声音转化为文本和文字。随后,这些文本会被转换为 JSON 格式,并通过 OpenAI API 发送给 AI 语言模型。ChatGPT 使用的是 GPT,这是 OpenAI 自有的语言模型。接着,人工智能侧的引擎会对结果进行处理,并将处理后的结果再次发送给我们。接收到的结果也会通过 ElevenLabs API 进行传递。
ElevenLabs 将提交这些内容进行语音合成(配音)。从那里产生的声音也将由我们的计算机读取。一般来说,这就是整个流程的运作方式。在 OpenAI API 的这个链接上涉及费用问题,尽管是付费 API,但使用成本非常合理,尤其是在 OpenAI 方面。
在右上角点击“创建新密钥”后,你需要给它起一个名字。然后我选择它的有效期,比如一天或七天,通常我会这样设置。点击创建后,它会为你生成一个密钥。生成这个秘密密钥后,我们需要复制它并在设置部分使用它。
除此之外,如我所述,还需要一个云端订阅服务。我们不需要任何其他额外的工作。一旦设置了这些内容,一切都将自动进行。还有 Excel Mind Studio(XL My Studio)。我特别想测试这个系统在我自己开发的软件中的反应。
XL My Studio 是我开发的一款 Excel 加载项,它与 Excel 完全集成。只需单击一下,你就可以创建仪表板、清理和转换数据。你可以非常快速地执行分析操作。你有 7 天免费试用的选项。
如果你满意,可以获取许可证。在 XL My Studio 方面,我也将尝试使用我开发的系统创建一个仪表板。这是我的目标。然后是 Power BI,这些已经是我的专业领域了。
了解我的人都知道这一点。最后我也将尝试在 Power BI 中创建一个仪表板。现在让我们开始逐步构建它。我们讨论了整个工作结构以及我们的需求,我已经谈论了所有相关内容。
现在让我们开始实施它。首先,在电脑上创建一个名为“digital twin”(数字分身)的文件夹。在我们的文档中也会看到这一点,在这里创建一个文件夹。指令说要创建一个名为“Digital Two”的文件夹(注:原文可能指 Digital Twin,此处按字幕直译或意译为数字分身相关语境)。
我尽量避免在 OneDrive 中创建它们。因为连接到 OneDrive 涉及前往云端、从中读取等过程,这是一个相当漫长的流程。因此,我们需要将文件夹存储在 OneDrive 以外的地方。我在文件夹中放入了一张正面照片并发布出来。
我们现在要对这张照片进行转换。因为屏幕中间将有一个 2.5 维的、而非三维的我,因为没有背景之类的东西。我想要一个设计好的二维图像。这就是为什么我来到 ChatGPT 这里的原因。
ChatGPT,我现在要发布这张图片。我正在附加这个图像。然后你会在这里看到一个提示词(prompt),也包含在这个文档中。这个提示词会自动为我们生成这些内容,我从这里复制了这些文本。
下面有没有我忘记的内容?没有。我在下面粘贴它。ChatGPT 将从这里为我生成 9 或 10 张照片。Cloui(注:可能指 HeyGen、D-ID 或其他视频生成工具,字幕识别为 Cloui)会将这些照片转换为类似视频效果的东西。
它会调整并同步它们。我现在正在加速播放这个过程。它创建了这些图像,花了大约 11-12 分钟来创建这些图片。现在我从这个 zip 文件中复制图像,并将它们全部放入我们在这里创建的文件夹中。
如你所见,它创建了如此有趣的视觉效果。我们将通过逐帧、逐个片段地播放这些图像来创建视频效果。实际上,使用中国开源模型 Hunyuan(混元)提供的 AI 语言模型或 Blender 程序,也可以以 3D 方式完成此操作。但是,老实说,要在现实生活中找到与你完全一样的人非常困难。
特别是如果你缺乏该领域的经验,而我肯定没有这方面的经验。因此,我决定开发这种 2.5D 的方法。从最初创建架构时开始,你可以在这个 PDF 文件中看到所有细节。我们现在已经创建了它,现在有了这些图像。
让我们关闭这个 zip 文件。我们的 zip 文件在文件夹内,我就在那里。我正在打开一个 Visual Studio Code 窗口。我们安装了 VS Code。
我们要一直说“前进,前进!”我们已经上传了它。Visual Studio 在首次打开时询问代码应在何处运行。看,有一个名为“打开文件夹”的部分。打开该文件夹。
我将打开文件夹并离开。无论我保存到哪里,我都选择原始的“digital twin”文件并点击“选择文件夹”。当我们选择这个位置时,左侧树状图中应该已经可见那 10 张图片。我在这里说“信任作者”,现在这是 Visual Studio Code 的界面,好的。
现在我们将在其中添加一个云端代码扩展(Cloud Code extension)。当你同时按下 Ctrl+Shift+X 时,会出现一个允许你向 VS Code 添加扩展的框。我在这里输入“cloud”。顺便问一下,这个怎么发音?你是说 Cloudy 吗?还是在谈论云计算?
我总是说 cloudy。云端可以有多种事物。请不要上传任何不同的内容。确保开发者,或者更准确地说发布者,是 anthropomorphic(拟人化/人类相关的)。我选择这个。
我在这里按下安装按钮,正在上传它。然后,在右上角你会看到一个云图标(Cloud icon)。我们点击这个图标。我现在可以关闭它了,我也让左侧的产品树可见。
接下来,我们将在底部选择一个模型。如果我全屏显示会更好。当我们点击一个模型时,会出现许多不同的模型。你可能在几个月后观看这个视频。你使用类似的方法进行操作。但目前,Opus 5.5(注:可能指 Claude Opus 或特定模型版本,字幕识别有误)在这方面是最好的,而且在令牌消耗方面也是最好的。
什么是令牌(token)?我们要给 AI 语言模型的每条指令都被分解成部分。它既不像单词也不像音节。实际上,我们说主要是按词分解,但事实并非完全如此。令牌类似于那东西,它将事物分解成部分,然后组合这些部分以基于概率返回结果。
一个统计数据库在后台运行。因此,Opus 5.5 在令牌消耗方面表现相当不错。Opus 5.5 已经是默认选择的模型。我将回到我们的文档中,从这里开始,从标题起一直到文件底部有一个很长的提示词(prompt)。这个提示词是我与 GPT 一起编写的,我没有让他写全部,我在许多部分进行了干预。提示词中有这样的情况。
特别是在提示词部分,尽可能提供详细的细节是非常有益的,而不是像平常那样只向谷歌提问。提供详细信息非常有帮助。你得到的结果及其产生的影响确实有明显不同。使用之后,你也会注意到这一点。当你进入这个结构时,请尽可能提供详细的细节。
尝试正确构建上下文。到目前为止,我从这里复制了最后一部分直到第13项。完成后,这里有一个总体检查。我们将进行检查这些项目。即使我们收到故障或失灵的物品,我们仍然会使用云端来解决这个问题。
我们会告诉云端,“发生了这件事,那件事。”我们将使用深度提示词来纠正它,比如“这样改”或“这样修正”。我们还有所谓的系统提示词。所以,我们在这里选择了12个项目,对吧?这些选中项目的一般特征是它们是提示词,但它们也在后台包含系统提示词。
什么是系统提示词?这些是决定人工智能如何响应提示的关键泵(注:此处原文pumps疑为prompts的误听,但根据上下文指代关键指令)。换句话说,这些是我们给出指示的地方,说“当我告诉你这个时,你将以此方式、此方式工作。”这些也被称为系统提示词。我们在软件中经常使用它。我们复制了它。
现在我要回到我的Visual Studio Code,把它粘贴在这里。现在我坐回去等待。我估计大约需要1.5小时。完成后,我们将一起查看最终版本。
是的,朋友们,我制作的视频正好花了1小时32分钟。根据你的电脑性能和互联网连接,这个时间可能会增加或减少。他在他的桌面上创建了一个名为数字分身的东西。我正在点击。让我们看看我们会遇到什么样的结果。
我离开了。结果变得非常精神分裂,但很有趣。让我们拭目以待这一切将如何结束。呃,这里就是设置部分。首先,我们需要在设置部分输入我们的信息。
在最顶部,它要求提供Open AI API密钥。我在之前的章节中展示了如何做到这一点。创建Opin's(注:疑为OpenAI的误听)API并从中获取API。然后,是一个11-labs(注:疑为ElevenLabs的误听)API密钥。我想我没有展示过这个。
当你进入11 Labs时,你会在左侧底部看到一个菜单,上面写着“developers”(开发者)。当你进入开发人员部分时,去顶部的appase标签(注:疑为API Keys或App settings的误听)并在那里点击创建。将所有这些更改为“access”(访问),以便授予它们所有权限。它应该能够一直发出'e'的声音并正确执行操作。然后你从那里获取密钥并将其粘贴到这里。
它要求我们的语音ID(Voice ID)。我们的语音ID在哪里?再次,在11 laps中,语音菜单中有“my voices”部分。我们已经创建了我们的声音。我展示了如何创建它。
我希望你没有跳过任何内容就观看了视频。点击这里的三个点,选择“复制语音ID”,并将其粘贴到这里。我会去填写这些信息并马上回来。我输入了信息。现在让我们全屏显示吧。
顺便说一句,如果你还没有点赞视频,请点赞;如果你没有订阅频道,请订阅。这是我唯一能理解你喜欢并希望观看这类视频的方式,也是我们要向YouTube展示这一点的方法。这对我的动力也很重要,以便它能继续下去。下面有3或4个按钮。我们的提示词已经要求了这些功能。
摄像头、呃,声音和电脑控制。我现在只想测试音量控制。我稍后会把它连接到我背后的三屏显示器上。我只是想测试它是否能执行一般操作。你已经在视频开头看到了他做了什么。让我们立即测试你的声音。
嗨,你能听到我吗?是的,穆斯塔法,我听到了你。你的语音正在被转录并传达到我这里。太棒了。
现在,就像我说的,让我在后面的三屏显示器上测试这个,我也会像视频一开始那样与他分享。我希望你喜欢这段视频。希望我能提供一些想法并带来一些视野。呃,发生了一些有趣的事情。最后,我可能会进一步改进这一点。
我将连接谷歌服务等。这包括阅读和回复电子邮件。嗯,这也并没有给电脑带来太大的压力。同时,没有过度的RAM消耗,或者CPU、显卡上的显著负载。我们将再次测试它。
事实上,我应该立即问他;他需要告诉我这一点。电脑在屏幕上显示其状态摘要。展示给我看。太棒了。看,伙计们,他展示了所有东西。
RAM现在有点问题,因为我正在运行很多程序来录制屏幕画面等等。包括摄像头和屏幕录制。显卡也实时显示相同的信息。看,磁盘上的大小、温度等都表现得非常完美,真的很好。
我们将进一步改进这一点。我在下一个视频之前说再见了。保重。再见。是的。