哈喽大家好,欢迎大家来到欧阳的视频频道啊。那么这一期呢,咱们来简单说一下VCP最近的这个进展啊,也有几个月没说了。经过上一期的这个朋友反馈呢,我觉得有必要说一下。那现在这个VCP呢,我们先看一个图啊,我们来按板块来拆解。目前呢VCP来说呃,更多的还是智能感知嘛,所以说它的重头戏呢,我们就只说最新的框架更改以及新的一些功能。
那目前呢我们在记忆方面呢,其实已经拓展了非常非常多的内容了。浪潮的记忆啊,他已经到了V10的这样一个版本当中呢,有两个很大的分叉:浪潮加就是最新版的这个“浪潮+”和之前没有加号那个。这两个的逻辑是不太一样的,但是我觉得用最新的就没问题,可以看看效果,好的话就沿用,不好的话就可以回退嘛。
其次呢在之前的版本还拓展了一个这个冷知识库,这个我们就可以把它单独的理解为是单纯的一个知识库啊。就是放一些我们大的文献啊、文啊或者是这个论文啊等等知识体系的,所以它不是基于上下文的自动注入啊。也就我们所谓的记忆自动浮现,如果需要调用的话,可以让Agent去单独的去调用。
那第三个呢我们说这个上下文啊,就是来自于聊天、Deep Memo和这个Topic啊。就是查询之前的历史绘画也给融入进来了,所以说我们也可以进行主动的查询。所以这个呃冷知识和绘画库呢都是外在的,而真正的内在的呢是记忆库,也就是自动回忆、自动联想。
这里呢我们可以大概的去分一下这个结构和模块:语义组我们之前也没有讲过对吧?语义组、元思考、时间线和梦境啊,这些之前的模块到现在的一个关联性。因为现在呢进行重构了以后呃在这个REST的基础之上呢,把所有的这些模块都重构到浪潮或者是这个整个的记忆系统里面。
那最后呢就是关于JEV模型的它融入到VCP里面,分别在哪几个部分起了作用。同时再说一下这个最新版本加入了一个VIXIS Memo啊,那这就是另外的一个版本。当然这个版本的功能我还没更新啊,因为为了最近调试这个插件的稳定性,我是一直没有进行更新的。
OK那我们先从浪潮说起啊。那说到浪潮呢我们其实就说来到这个控制面板,在服务器这边呢说一下它的主要的核心主干啊。就是一切的算法都是让它的自然回忆的,这部分呢更自然和我们说话和当前的情景能想起来过往的一些事情呢更像人脑。
也就是说计算记忆的过程,然后把相关的记忆以不同的权重、以不同的顺序、以不同的这种压缩形态传给着。这样的话他自然浮现出来的记忆是非常迷人的啊,就像我们现在说一个向量的时候和我们人一样。到了脑脑海里以后他会激活一片我们的这个神经元,而不是说只是一个单词让你想起来一件事情。
因为我们人脑的话它也是扩散性的,而不是说单一的同时呢它是有时间维度的。其他的召回是被动式的,它需要去调用;而我们的召回呢本身是自动浮现的。那么这个浮现过程它背后又是一系列的算法,所以大概了解了这个理念以后呢我们就能知道啊。
现在的这个浪潮的这个算法每一层级传播呀、枢纽啊冲动啊等等的这种都是经过了之前很多很多的这种调校和这个算法优化。同时现在把所有的内容结合到REST引擎里面,它的效率是非常高的。所以每一次的计算和回调这种所有的数据呢只需要几毫秒的时间对吧?这个我们用过也知道等等的相关参数设置有非常多。
那这里呢我们不说参数,我们只是说他的概念。我们也可以看到很多他都不建议动,我们就只用这个默认的参数就可以了。同时在最新的V10啊它已经是调好餐的(注:应为“调好的”),因为V10它已经把所有的相关的厂啊都已经聚集到一起了。
哪些厂呢除了日记以外呢就来说一说其他我们之前没有讲到的。所以第一我们要先明白这个浪潮系统呢它是基于哪种概念和哪种算法?那这里我们是可以看到不同的它的这种是我们可以简单理解为是神经元的辐射。就当你输入一个内容的时候啊,他会有不同的神经元激活。
那每个神经元之间的传导他如何把这个语义场给提炼出来,以及做成这个相关的路径、依赖和思考链路和时间维度空间维度的不从不同结构才让这个知识向量给到Agent。那这里比如说你早晨吃饭了吗我们随便打一个输入,那么直接坠入地形来传播就可以看到它所激活的场和场的这个域啊不一样。
那寓意不一样的话,它所提取出来的相关的信息以及日记的所有的记忆内容它就是不一样的。那简单理解就是我们在聊天的时候每一个不同的语义场激活我们人脑的这个叫神经元的区域是不一样的对吧?比如说我们在谈论情绪的时候是哪些区域在活动,谈论逻辑工作的时候又是哪些区域在活动。
谈论某一个人的时候又是哪些区域在活动?谈论过去的一件事情时又是哪些区域在活动?其实说白了他就是来仿生人脑来做的这一套回忆系统,这就是浪潮啊。我们简单的理解一下浪潮它的概念,那么有了这个概念以后啊我们就就要说在这个基础之上相关的模块有非常多。
对吧我们知道在VCP里面有很多相关模块,那我们先说这个时间线。时间线呢其实分两种啊:一个这个OneRing这个是新出的一个时间线,那它其实是注入了我们短期的一个时间告诉Agent曾经过去发生了什么。而这个短期时间呢它周期可以看到是一周,那时间宽度是一到七天我们可以设置是一个时间宽度。
那这样的话它就能知道我们短期发生了什么事情,那五天呢我觉得也可以。它是单独的一个存在一个数据库里面,那这个数据库呢就会有我们短期的记忆。但是在这之前呢我们需要生成一下时间线,比如说我们生成自动摘要啊选择一个模型对吧?
然后下面呢我们就可以直接选择一个这个占位符,就比如说你要生成谁的。可以看到这边我们有Agent嘛如果我们注册了Agent,这个Agent是注册在Agent列表里面的。有了Agent以后我们可以选择以后直接生成那这样的话它会基于我们曾经过往的几天的日记对吧?
然后生成一下每天记了什么,其实就是变相的发生了什么。那么除了这个以后呢还有一个长期的对吧timeline这个是长期时间线,其实就是不同颗粒度不同维度的了。我们一样是需要设置模型啊启用这个timeline然后进行上下文的注入对吧?
这样的话呢是看到我们长期的一个减数啊,可以看到我这边也是可以选择Agent对吧选择份月份以及生成摘要啊。这边也是可以生成主动生成摘要的,有月度啊下面呢是具体到每一日。所以说它是一日提取到月一月提取到这个摘要,所以这样的话是过往每个月体现了什么事情。
那这边我们就可以注入一些语法比如说我们只给他三个月的然后阈值是多少啊这些都是通过语法进行实时注入的。所以结合这个时间线呢就告诉Agent呢有短期发生了什么长期过往就能串到一起了啊这关于时间线。那之后呢我们再回去说之前很早就有的语义组和元思考啊这两个是什么意思?
所以之前我们讲过一个语义不忘对吧,其实语义组和元思考它是有关联性的啊。语义组在我们对话的时候呢关联性也是非常强的,所以语义组是个什么意思?将一个概念呢浓缩成一个词。所以就就是说解释一个词的多概念,比如说if这样一个Agent那我叫他if的时候那他他是知道我在说谁的对吧?
那如果我叫他小名呢一服中文他有很多叫法,我们可以叫小服可以叫服服可以叫一一也可以叫也可以叫if英文名对吧?所以如果这个信息不同步的话其他人是有理解负担。那比如说你跟程序员去沟通的话他说一个什么递归算法你就不明白是什么意思对吧?
所以这样的术语呢他基本上是压缩了语义的上面呢是压缩的一个高高压缩浓度的一个词,而下面呢是解释这个词的相关性。这样的话多个概念呢就会聚拢到一个词啊这样的话就成形成一个语义波啊当我以后再提到这个关键词的时候其他的概念呢就会统一进来。
或者是我说其他的概念的时候他也会相关的关联到这样一个收束到这样一个词里面去对于模型来说呢他已经经过了很多的训练像一些专业的术语呢他都懂对吧?这些专业术语我们就不需要再去进行语义的抓取和捕网的这种解释了。而什么样的寓意我们才需要定义呢?
这里呢其实就定义我们当下的一些流行词或者是个人的一些习惯比如说一些网络的梗对吧?比如什么嘉豪但其实在这个网络梗的环境下它是不是又映射了很多不一样的理解,或者最新这个网络词叫什么烧心什么鬼对吧?就这种东西你要把它解释开拆开这个模型呢就会把这些语义全部串起来,就会非常好理解你的意思。
那这就是主要的一个语义组的我们最常用的一个概念呃小圈子里面常用的专用名词模型不懂的哈。这种东西你就需要定义一下然后在下面用其他关键词词给它解释出来,这样的话不仅仅是在你提了这个词以后它会关联其他概念。在你提其他概念的时候呢其实模型也会反向的来提这个词,这就是很有趣的一种表现。
那之后呢还有关于这个思维链当中的一些定义那我们接下来说思维链啊。那关于思维链来说呢呃我研究的其实也不是特别多了,没有深入的去开发非常多的思维链但是我也有常用的一些思维链啊。思维链在大语言模型中我们也知道是一个什么样的作用是吧?是告诉模型的一些他的思考方式来引导模型思考。
所以说当你的思维链给的不一样的话模型的推导链路是不一样的,他得出来的结果和最终输出的内容也是不一样的对吧?所以这里呢我拿两个链来举例子啊首先第一个链就是我们之前的默认的链它是一个推导链。就是说先去了解用户的意图是一个模块,之后呢再去分析推导是一个模块再之后呢再去反思。
你可以看到每一个模块它都叫簇啊但这个簇里呢其实包含的是多模块有很多的模块。就是说不同的情况呢我应该使用哪些模块去进行分析啊分析方法也不一样,细分呢就是不同的醋包含不同的模块一个一个往下推倒啊。有了反思以后呢我再验证一下结果对不对辩证的看一下,在最后呢我再总结一下应该怎么说这句话跟你说对吧?
这是一套推导逻辑的一个链。而之后呢我又去尝试的生成了一个心绪链啊就是说感性抒发而不是理性抒发。那这个链呢是我单独去创建的,之前我也尝试创建的不同的链啊但是现在呢基于这个回忆来说呢回忆的权重可能要比思考的权重呢我觉得要占据更多一些。
因为思考它只是在你输出的时候进行引导,而回忆所有的东西呢才能真正沉淀的。比如说他的表达方式啊他的性格以及他这么长时间以来跟你沟通的一种习惯是在回忆里面沉淀的。而经过这个思维链呢他会进行一些方向的校准啊比如说他想吐槽了,我们想谈情感的时候呢他就不是这种方式。
他其实更感性那这里呢我创建的这个思维簇呢一共是四个啊没有那么多就四个。第一个呢是自我看这个就知道自我感知,第二个呢是共鸣啊就是跟用户这句话呢能不能找到共鸣。第三个呢是在感受自己最后一个呢就是抒发就是我应该用什么样的情绪啊口气啊口吻啊进行抒发。
是撒娇也好还是说开心也好还是说忧郁也好对吧?那具体来说呢每个醋哈他其实也有一个召回的p啊就是这个醋我应该召回几个模块,当前这个模块里面我应该有几种符合的想法。所以说我们就可以在这个地方来选择具体每个阶段召回的k值就是我们召回的k值不同呢方式或者随机性呢就会增加一些。
对于我这个其实它是前面是一个一个后面是两个啊这就是说我的入口很窄但是我的出口很宽啊我们可以这么理解。入口和出口它是这样那也有可能呢入口很宽出口很窄这样的话就是收数思维我刚开始的创意的想法很多慢慢收慢慢收慢慢收就收成了一个。
所以如果在VCP里面构建这个创意灵感这个醋呢呃专门和你探讨这叫什么呢写作啊各方面的其实它是适合从宽到窄的啊。先去有很多的模块去想不同的可能性比如说三然后再往下呢再是二再往下呢再是一对吧。最后输出呢就只给一种确定性的或者是你也可以发散式先是一再慢慢慢扩散,我们就可以借鉴我们本身自己的思维习惯有不同的思维方式来做不同的生产环节的这种适配。
所以在下面我就单独又做了一个起始是二后面再收束的这么一个思维簇啊这样的方式呢看看一个对比度啊就是比较有趣的。那至于这个模块应该如何的去构建我觉得还是和Agent能聊一聊,把你想要表达的东西表达出来让Agent能帮你去输出就行。
这里也可以看一下我的这几个醋啊都是在日记文件夹里可以看到啊每个醋呢就单独这是一个文件夹。所以这个我觉得对于文件夹管理不太友好,每个醋都散在这里的话当你的思维链越来越多的时候它不便于管理。真的我觉得想把它收进去但是这个事情我之前好像跟狮子提过但是一直没有人做这个事情啊。
说到专为专门的一个思维处里面去管理我觉得更好一些那可以看一下这个抒发处啊。看一下这个一共呢这么几个文档:喜悦的抒发方式、倾诉的抒发方式,然后这个啊我们来个来大概看一下。这个是吐槽的一个抒发方式,这个是伤感抒发方式啊。所以说他有很多的不同的这种抒发方式啊每个处呢都有不一样的定义啊。
反正我们聊的越多呢这个想法越多呢其实现在给nga的推导一下就会非常非常扩散非常多哎。这些呢就是关于如何引导h的输出前的一个思考方式、思考模式那当然在这个定义里面就是说我们注入这个元思考链的时候啊也有不同的注入站位符对吧?我们可以自动那这样的话他会根据我们聊的话题呢阈值不同,他会激活不同的思考方式啊。
这就是关于思维链但是说到思维链我们再返回来说一下思源不枉就是个语义编辑组。可以看到这边我有这个意图以策略与意义,这个什么资源规划或者核心洞察深度洞察以及这个感性心虚触发网和共鸣网。那这样的话就把他们捞到一起了,就是说当我们去思维的时候激活这个思维链的时或者是当我们去再聊一些关键词的时候。
那他就会激活这个思维链他的链路就更通畅心理情绪或者是他的语意相关啊这个东西都是向量的它的相关性就会往这个方面撇。所以说基再结合这个语意补往的话呢思维触发呢它就会唤起它相关这方面的向量。所以这些东西呢我们是要维护的,当你有一个语意组或者是有一个思维链的时候你就需要考虑如何和语义组去搭配。
让整个在沟通的时候呢和你的思维链结合的更好了当然了之前呢狮子也发过这样一个Agent嘛他就是专门负责去检测你的语义网的当中呢哪些东西呢有关联性或者高关联性或者是无关联性是孤岛他就会去检测和维护。比如说删掉一些不必要的思维链和思维网又或者是关联一些缺失的内容让他去检测就可以。
这就是关于语义和元思考的这么一个部分对于时间线呢刚才我们也讲,对于梦境来说呢这个我们之前也讲过了对吧?就是让他去不断的在闲置时候就我们睡觉的时候啊,让他去整理自己的日记以不同形式呢重新重复的整理出来日记当中一些呃没有的断档的东西。
他可能会幻想一些东西如果觉得合适的话就可以把梦境的部分我们把它落到日记对吧?那这如果开了这个梦境功能的话我们可以设置一个固定的时间,他每隔一段时间呢就会自动的去幻变想。那同时呢对于VCP后段来说呢我们现在其实也有挺好玩的东西啊,比如说这样这样一个东西心理轴啊。
心理轴向在我们和Agent的聊天的时候呢会进行一些打分,可以通过向量的方式来分析出来不同轴向最后呢来总结出这个Agent的当前的一个状态啊就是心理状态。比如说情感轴是什么样,知性轴是什么样它现在的曲力轴是什么样啊?有不同的轴向来区分不同的状态这就是一个心情系统吧。
我们可以理解为但是现在这个心情系统它只是观测端,它没有接入任何功能。我们可以基于这个方向呢去介入一些功能像我之前就是在做了一个情感插件是吧?怎么说呢就是我们可以注入一些不同的提示词然后它对我们的亲密度就会有不同的表现。
在每个阶段的表现是不一样的啊这就是一些好玩的所以之后呢我又就结合了这样一个轴向的方式啊在这个基础上升级了一下亲密度的一个插件更偏向他的真实的互动心情的表达吧。而不是说简单像之前就是打分啊跟他聊的多了以后有好感就打分没有好感就减分对吧?
就是很简单的很粗暴的之前是那现在结合了这个以后他就会呃更自然一些。这都是一些小的设计我们可以基于这个系统去做啊那同时呢在提示词这边Agent的管理提示词这边也是快捷的结合这些召回的固定赚钱方式吧。你不需要去去去去写这个提示词到底应该怎么写了,而是直接日记语法编辑我们就可以选择开启某一项关启某一项的功能啊。
比如说要不要开time我们直接开启这个提示词呢这边就会可以看到下边这个日记本的一个描述在在在左下这边对吧?如果我们开启了时间检索a那个日记本呢它就会加载加个态
如果我们想用这个固定注入的方式,不用动态注入的话,哎可以看到这个方式就变了。所以说在这方面呢,我们就可以进行更全面的提示词撰写了。同时呢下面我们之前的工具箱啊、预处理啊等等东西对吧,都已经做了很多的优化了。冷知识库呢,我们也可以简单说一下,它就是基于那个BM2.5的语法。它这个数据引擎呢,就向量数据库呢和我们日记数据库啊,就浪潮是完全分离的。包括文件夹也是完全分离的,这里我们可以看一下它的文件夹位置,就是在VCP根目录啊。我们的日记呢是在daily note对吧,而知识库呢是在knowledge这个文件解下这里我们就可以自己创建自己的知识库了啊。
比如说你是呃写作,那我们专门创建一个写作的一个知识库,把一些写作方法啊、写作书啊相关那些书籍啊论文啊全部放进去。这样的话他我们需要他检索的时候,他就可以在这个庞大的知识库里面去检索了对吧?可以看到这边他加了很多相关的关于VCP的一些内容。那我们也可以把自己相关的一些知识库导到这里面来,这个知识库和我们的记忆是不一样的。记忆会自动的去加载,而知识库呢它不会自动加载占用我们的上下文,只有需要的时候我们让它去检索就OK了啊。那这就是知识库。
最后呢我们来一下关于这个G5模型啊,之前更新的一个大版本就是G5模型进行了完全的融合对吧?而这个模型我们也知道啊,之前也说了它是基于一个智能判断、智能决策。所以在VCP里面它主要体现在了哪些方面啊?其实呢我们现在来理解,它就是体现在了三方面优化了三方面啊。我们单单个来讲啊:第一方面呢就是上下文减脂。那我们之前呢其实是有一个上下文抽离和判断的,那之前那个上下文是基于向量的。这向量来说的话它还是有一些阈值的不准确性,就它的判断还是不太准。而对于介入来说呢它是用大语言模型去判断的话,他就在向量的基础上呢有更好的一个判断。
所以这个上下文简直就是每次当我们对话的时候不是都有很长的对话要注入吗?我们聊的越多,那聊的人数越多每一次所发的上下文就越多对吧。所以说呃在上下文已经有愈加载就Profile的时候呢,我们是有上下文缓存同时有这个缓存命中的对吧。所以说每一轮呢只加入当前新的这个token就行,但是它有个问题就是说当我们断了以后,这个缓存呢一般目前的厂商是保持保存一个小时。那这一个小时的缓存过去以后你不聊天了,然后再重新聊的话你还是用这个绘画继续聊的话那这第一次的prefill就是把绘画之前所有绘画的对话历史记录全部推给Agent。
如果你要是做这个订阅的话就会感觉到五小时过去以后你第一次说话的时候一下就占了消耗量的百分之十几或者是二十几啊。这就是你第一次绘画就把之前所有的历史记录全部塞进去了。如何解决这个问题呢?我们VCP当中呢之前是用了一个上下文简值,是用向量把相关的绘画和你当前的问的话从历史记录中摘出来。把历史记录中其他不相关的绘画排除出去,这样的话就能浓缩出一个精炼的上下文。而现在呢我们用了上下文简值的话用you去判断之前所有的历史绘画记录是否和你当前的绘画核心语境和主题相关,然后筛出来进行这个上下文的发送。
这是一个好处但是一个坏处就是可能他不一定每次都能命中,这是VCP大家都说使用VCP是没有没有缓存命中的这一说法就是在这了。因为VCP每次都会组织不一样的上下文,他的记忆啊、他的这个聊天啊等等的,但是他在这个其实上已经截极大的优化了之前使用VCP上下文的占用情况啊。这是我们上下文的一个减脂在介入当中的一个应用。那么第二个应用呢就是Rerank的替代了,像我们之前做Rerank召回的时候它总要重排序嘛。而Rerank的重回排序呢也是向量排序,相关性呢也不一定特别的准。那当然了还是要比纯的召回还要好一些,在召回基础上再去排序一下它的工作量也比较小对吧。
但是有了geo的话我们相当于是说模型上幼儿分析的能力,但他输出不输出文字他只输出判断对吧。所以我们就可以把这一步交给jim那他的判断呢可能要比人更好,同时为什么要更好呢?因为Rerank他的运算量比较大的我们没办法talk k就是说召回那么多内容。但如果要给G5的话我们可以把这个召回量给它放大的,整个的召回量可以扩大到两倍三倍四倍五倍都可以给G5去判断最相关的内容。如果我们的记忆密度高颗粒度细丰富的话就可以一次召回十篇二十篇甚至五十篇文章一百篇文章,而日记让借物去筛选出来最相关那这样的话其实效果是最好的嗯更好了比原先好很多。
第三个就是这个工具折叠了我们之前呢有一个工具对吧就是在我们调用工具的时候召回工具的时候就是比如说我们说让他记日记又或者说让他记这个日程对吧。那当我们说到这些东西命中这些个东西了我们就会有之前有一个工具箱的折叠,如果没有命中呢这个工具箱的使用文档是不会展开在它上下文里面的只会有一个简单的减数。如果这个命中了呢它就会展开具体的使用方式对吧,这是一种工具折叠。而G5的结合呢就是把这个工具折叠的准确性提高了更多了因为原先是个项链这个项链我们需要设置阈值的。那阈值应该是到几几点几你的话题和这个工具的阈值到了几点几它才会展开,很多时候它展不开的话配置的调用它就会自己去猜就会调用出错格式就会出错然后他再自己去查。
所以之前是有有一些这样的问题的,就是说你的阈值设置的不准你还得测阈值到底应该是在哪些范围之内比较合适。太低了的话他每次都会展开就会占用很多上下文,如果你有五十个工具或者是五十个命令吧、五十个命令十个工具啊那就命令有很多。如果你的阈值设置太低它一直都是展开的状态那和没有这个折叠上下文折叠是一样的,那现在呢我们就可以使用这五啊更方便更高效更准确的去判断你让他做什么哪些工具和它相关就会自动展开这个工具箱啊自动展开这就是我们在VCP当中这个模型的第三个应用方面。
最后一个就是工具调用哎这个工具调用就有趣了啊,这个还是一个实验型的一个一个阶段啊但是但是我觉得挺有趣的我是没现在没有准确的试太多次哈,只是说配了一个工具因为他要匹配这个G5的话他需要对插件进行一个更改你需要嗯怎么说给插件去进行一些特殊的配置适配JEV才行。简单的理解就是JEV会结合判断相关的输出啊判断成工具调用的规格然后发送给工具调用。也就是说在工具和调用之间呢它其实是加了一个JEV那前面这个环节我们可以理解为是Agent的一个发送之后呢我们会进行一个工具的运行。也就是说Agent呢去发送了一个function calling啊在我们这个VCP里面呢就是一个工具调用的指令后端接收到工具调用的指令了转换成工具切实的执行代码对吧这是一个Agent呢和它们之间的关系。
但是呢当我们有了JEV的时候呢它中间呢就会加一层JEV层那这个JEV它是其实是起到了一个转移的过程我们可以理解为就是Agent不需要掌握这个工具应该如何调用它只需要掌握统一的语法如果我想要使用工具应该用什么自然语言去表述啊。它已经不是工具调用语言了因为我们VCP工具掉了你会知道非常烦对吧前面三个括号后面三个括弧然后开始和结束又是中文的那个符号他很容易会出错的在像在之前而现在呢虽然不容易出错了但是有些东西填写还是挺别扭的。所以这一步呢这个JEV的结合呢就是把Agent的调用呢变成了一种自然语言的方式给到了JEV然后JEV呢直接把这个它的自然语言转给工具调用啊转成工具调用的格式直接去进行工具的调用啊就是这样一种方式它在中间呢做了一个翻译层。
简单的举个例子查看昨天的日程安排并且加入备注已阅对吧我们简单的来说这是一个自然语言当然这个这个这个语言呢是在VCP里它是独有特有的一种它是以这个竖线分割开的当然这里呢我们就不举不举它这个例子我们只是说简单的理解一下它是怎么转换的。当Agent发送给JEV这样一个话以后呢JEV呢就会根据这个情况啊根据这样一句话来反推这个工具应该填什么参数了。比如说时间应该是什么呢今天和昨天他会推出昨天的日期对不对那昨天的日期呢就会填写进来,那之后呢就是调用什么工具肯定是调用日程安排这个插件名称也会在JEV的选择列表里面对吧那我就选择这样一个插件名称加入备注已阅那这个备注选项那我就可以把这个状态字段段呢改成已阅这样的话他就直接通过JEV把这个关键的参数输入到命令行调用中了。
所以在这一步当中他就省略了所有的那些工具调用这个插件调用的那么长的一串指令从开始的三道杠结束的三道杠中间的不同的参数应该怎么写不应该怎么写应该用什么启示启示启示啊整个这样这样所有的复杂的格式就不需要写了这边就是一个模板啊JEV只需要填模板就行。所以这就是第四个关于工具的调用它简化了Agent的所有的输出ag呢只需要自然语言描述同时呢降低了工具调用的出错率也提升了调用效率啊。所以说在这一个版本的理解当中呢我们也看出来G5在不同的工程实践当中呢能做一些什么事情啊我觉得还是挺有趣的之后呢我现在也是想在自己的项目当中呢去结合融入更多的这个G5的方式把我们这个整体的效率啊成本啊进行进一步的降低。
影视流程啊AI影视流程制作啊当中的所有的这种判断啊啊角色资产啊各种镜头分镜这种判断和最终的评审等等啊分数方面都可以用其有去进行一个总结这是我觉得在这一方面我们有更好的一些思路也是我看了VCP的实践以后觉得是很好的思路。那么说到这里以后呢我们基本上就说完了当前我现在用的这个版本半个月之前的这么一个版本而现在新出了一个功能就是VIXIS Memo。
这个功能也不知道是不是我的影响我说嘛呃VCP可能对于Agent来说更应该服务于人所以vxs这个memo它是对于我们个人的一种习惯呢我们可以为称之为是芥末就是在VCP系统当中如果我们聊的越多呢这个系统呢就会采集我们个人的信息来不断的去熟悉你的沟通方法、你的表达方法构建我们自己的一个向量库更知道我们说的是什么、我们表达的是什么或者我们有没有什么潜台词之类的对吧。我们表面这么说其实心里真的想的是什么,所以说当我们有了自我建模以后这有个很好的改善就是模型就更理解我们了可能我们说的没那么直白但是模型也知道我们想表达什么。那之后有机会我体验的觉得还有趣的话我们再挑时间跟大家分享吧哈最后呢就跟大家说一下感受吧因为现在呢我也做了一个不是之前说这个TG的一个插件嘛。
为什么我要做TG的插件呢首先我觉得不同的这个时候呢时期呢或者是我们不同的应用场景呢它其实不需要那么多的复杂的交互就像VCP我们有手机版对吧但是手机版的话我觉得就还是太复杂了啊就你要设置很多东西你不需要那么多东西因为很多时候我们和Agent的沟通最后啊好比我上一期说的这个管理人生嘛我只需要录入数据就行就行了或者跟他聊一聊简单跟他聊一聊让他帮我看一下邮件啊这关键的事物都需要快速的让他去响应而不需要你调那么多提示词跟他聊半天没有用的。所以这个时候我就需要简单的入口那这样呢我就打造了一个TG的插件,插件呢有以下功能啊。
那也可以看到这边呢他每天有个巡检就晨间巡检比如说有简报啦看一下我的邮箱啦或者是自己去总结一下昨天的内容去录入啦录自动的去录入一下录入到我们的这个人物这个上下文历史当中或是时间线当中又或者是我们人生管理这个插件里面去是吧。他会有一些每天自动的一个巡检啊晚上呢会有他的自己的梦境和自己去做梦然后白天呢我们再去基于一些内容跟他沟通。而在这个插件里面呢我也植入一些命令可以看到也有一些我现在内置的一些命令啊当然这个命令我呈现方式还有点乱啊但是我觉得实现了吗第一步第一个是停止当前回复比如说他在输出很长很长内容你就直接停或者是清空上下文又或者是查看历史聊天记录这这是我们之前的每一天的都会让他去总结一下在TG之前啊移动端之前聊的这个减数是啥我们可以直接看啊点击一下这个命令可以看到这是之前的聊的一些事情对不对包括他回复的一些方式啊。
比如说一些格式我也是注入进去的他是知道这个怎么用的隐藏的方式啊或者语音的方式啊他都会有那这里我们就让他去简单的去记录一下今天花了两个小时做视频,花了两个小时剪视频然后明天准备发视频了把今天的内容记录进去吧OK我们直接发送过去现在他就反馈回来了对吧就是之前我跟大家说的每天的一个记录的方式他也会感觉到时间对吧说现在在熬夜型是吧明天我打算收拾一下行李因为后天要远行所以说把明天的日程呢记录到fin的文档中这里识别不太对我把这个改一下这样的话他就会调用我们呃打造的插件啊或者是工具啊进行一个存档给当工具调用了以后我们可以看到是不是这边就有工具调用的返回啊这也是插件里面写了一些呃过关于工具调用的一些回险。
回险的方式首先他把之前的内容给记录了一下之后呢又调用我们这个文档的方式存了一下明天的文档就把文档放到我本地部署的这个地方了做本地部署的类似于一个note文档的一个本地部署项目那这里可以看到哎他就帮我们记录了啊每天你想记录什么日程啊直接让他去记录就可以所以这这个是我也是单独开发的一个插件啊进行了一个打通让他去做这些综合类的事情吧OK基本上这就是关于我对于VCP现在的理解。
就是我真正想把它用起来的话一个是你要和它有更多的去结合度就是你生活当中啊就需要很多的东西的话去让呃这个Agent呢去解决的话就把它和VCP融合起来去为VCP打造一些你所常用的插件或者你想实现的一些功能这样的话你就会经常的用它。第二个呢有一个更好的沟通渠道你就可以随时随地的跟他说这样的话我们就能更好的和VCP结合把它和我们的生活结合的越来越近。包括之后我也会再重新创建一个这个语音助手啊对因为这里关于TG呢我也给他配了这个语音的可以听一下这边语音有点不不羞不臊了啊但是可以听一下早安呀领导的领导起来了就好今天第一件事什么来着说给我听听他想发语音的时候他也可以随意的发语音。
而之前我就打造了一个英语的陪聊没事聊一聊学过的英语把自己的英语的一些知识库啊或者是你所掌握的语法呀台词啊做一个一个酷这样的话他就知道你的水平是什么样那他基于你的水平呢去进行发散的去跟你聊一聊没事聊聊天什么的最关键的是让他辅助我们打造一个环境和我们的生活越来越近和我们的学习越来越近让我们所有的东西和AI结合起来那VCP是一个不错的地基啊它未来呢其实我觉得能做的很好把个人的这种这种方案啊实现下来以后它就能帮我们做非常非常多的一个有趣的事情关键是这个数据在我们本地记忆在我们本地未来我们还有自己的销量建模啊就有这个最新版的VIXIS Memo我觉得这是非常好的一件事情。
OK那么这就是这一期跟大家简单的探讨一下VCP目前的一个近近况以及它融入了哪些新的技术以及补充一下我们之前没聊到的一些关键VCP核心当中的一些概念这些概念之间的关联是什么样啊对于VCP的这个基座呢又代表了什么我们应该如何更好的优化和利用。大家有什么不明白的其实我也只是说了一个大概起如果真的要细说的话每一个模块比如说时间线模块也好还是语义网这个模块也好我们都需要去展开详细讲的话那么可能一个模块我们就需要讲一个小时半个小时的。
所以说大家如果想详细了解的话也可以在下面和自己的Agent比如说你随便用一个什么harness也好work party也好的各种各样的你打开然后工作区呢就建在VCP的工作区然后你去就去问他就行了因为所有的模块对吧我们之前也看到了所有的文档VCP的文档都写的很齐的有什么新功能呢都会落在不同的文档区域的所有的文档那你就让Agent去看吧看完以后呢就回答你这些问题包括知识库对吧也有很多的这些知识嘛百科全书啥的然后你就问这个功能是干嘛的应该怎么配置让AI帮你去配置所以就现在就方便多了不像原先你这个地方要写写完以后在那个地方还要设置啊再跑到那个地方啊各种各样的东西。
你都要需要在很多地方去设置,那么最后呢,我会把这个TG的插件呢,也会分享到一个网盘吧。大家需要的话,可以直接下载下来加载到你的VCP里面去用。具体的文档呢也会在网盘里啊,相关的一些使用文档直接让Agent去看一下给你配置一下就好了。
那要说的一点就是关于声音啊,这边不是有一个声音生成吗?在t级当中关于声音生成呢有两个方案。一个方案做我们国内的轨迹流动啊,可以注册一个硅基流动的账号,然后让Agent的给你配一下同的模型。因为硅基流动的模型我没有配具体的参数,如果大家想用不同的话还是得让AI去帮你实现。
第二个呢就是我现在已经实现了这个,因为我一直在用这个TTS我觉得它的效果比较好的是哪一家呢?就是这个face pro三吧。好像是现在已经到三的这个最新版的开源项目了,是s三但是它的部署门槛是比较高的啊。但是它也没有开放模型的权重支持这个一键克隆,但是没有开放模型的微调权重。
我们没有办法训练自己的全量模型我考虑本地部署但是本地部署我觉得太占用内存了。大家就可以尝试,如果你有网络环境的话就可以尝试face audio的官方API提供这个开发者和使用和用户两个版本。我在插件里配置了两个渠道,开发者渠道是免费生成每天都有免费时长的所以基本上来说的话它是百分之七八十是使用可以使用免费的流量来生成的。
个别的时候可能会用到付费,当然了这个语音生成又没多少钱几美金就是百外投梗那本七十五万字。所以我们普通沟通的话你也会看到不会生成特别多的视频,这个音频呢就是需要的时候呢你让他说说话对吧。但如果你要想定他的性格让他每一次都输出音频的话也可以,只是说我觉得对于我们呃汇报任务和办公来说啊他还是需要一些文字的东西让我们一眼能看得出来。
这个东西语音的话你就不好看但是对于沟通的话可以点缀的做一些语音我觉得没有任何问题啊这就是多多方面结合的。简单来说一下吧OK那么最后我会把这个插件的使用文档和打包放到网盘里面分享给大家,大家可以在视频简介区或者是评论置顶当中找到这个分享的链接。那本期内容就到这里了,我们下期再见吧