啊，就開始錄了，OK。呃，聲音斷斷續續嗎？這樣聽得清楚嗎？好，可啊，不好意思。可能我就那我離麥克風近一點呢，近一點。OK，那所以呢，我們從今年1月開始一直被這些 Frontier 模型廠商封號。封號之後呢，然後我們就開始探討其他的模型選項了。那這時候再加上呃地端模型的慢慢的出現了，所以我們就開始考慮在我們的 agent 來使用地端模型啊。那也沒想到這半年地端模型的發展已經變得有點有點可怕了，有點誇張啊好。那今天呢，我的主今的這個分享的主題就是在談我們用一台 DGX Spark 來跑一個 agent。那這個 agent 呢，我們會跑地端模型，我們會跑開源的 harness。啊，那我就會，那今天的分享時間呢可能會很長，因為保哥的場子都是無限制的啊，不限時。
所以呢，我我這個場這個分享我會呃可能會帶一點同時我在講我有一個準備一個投影片。那這個投影片我在講時候會會有时候會離開一下去示範嘛好，所以呢我們就開始吧哈。那我先說如果說我們今天的時間超過了我超過1小時，我會先休息10分鐘讓大家去喝個水上個廁所。然後呢我就繼續我儘量把投影片講完嘛，那就希望大家不要太累然後我們就順利把這件事情走完了哈好。那我先自我介紹一下啊，自我介紹啊我是胡嘉璽其實我很多年前照片的時候還年輕。那我目前是嗯嘉崎人智的技術長，然後呢我做過很多事情啊。
然後呢我因為我在這個行業很久了所以做過很多事情，那剛好最近就這其實我投入 a 大概是2014年投入 AI。那個時候其實就是我們就是玩玩 YOLO，啊玩玩 LSTM 這一類東西，玩玩一些 CNN 的東西。那2017年開始就比較有有 GPU 可以用，那時候用1080好。所以我就一直在這個行業裡面待著了啊那我希望大家能同時加入我的 Facebook 的粉專，跟我們這個粉絲這個這個社群。因為我我前剛好休假到呃上禮拜哦所以就比較比較沒有那麼多呃更新，我平常一天更新三到5篇 Facebook 文吶。
都是我，我敢說是跟矽谷同步啊因為我很喜歡看他們那邊的消息好。所以我希望大家加入我的粉絲團，然後也同時加入 Vibe Coding Taiwan 這個社群來獲得最新新的 AI 消息。當然我常常會翻車啦最近有有常常寫錯東西，但是希望大家體諒。那我當然儘量就儘我的所知來跟大家分享我知道的東西啊好。那我們在這個今天的分享會最後呢會開放一個 Slido 的問答啊，那當然這個問答各位可以盡情的提問。
當然有些問題我不會但是我我會去問 AI 啊，那或是我自己去實驗，我會的我就儘量簡答。那大家儘量提短的問題因為有時候因為問題太大就來不及答啊好。那大家別忘記加入我的粉專跟 Vibe Coding Taiwan OK，那今天我們講八個部分我每個地方都會儘量去示範哦。
我們會談談什麼是 agent，因為大家因為我呃上四天呃禮拜兩天前我去參加呃 GenAI 小聚的年會。其實我覺得大家對 agent 的了解可能還沒有那麼清楚，就是因為它有點亂啊。我們會講 model，然後我們聊一聊最近最紅的 DeepSeek-V4 呃8月13號出了 Pro，然後7月31號出了 Flash。好但是其實後來又出一個更更棒的模型啊一個 Dense 的小模型，會大概聊一下它的技術技術但是不聊技術的名詞。
聊一聊它大概做什麼事情，然後呢我們會談一談地端模型的重要性必要性啊。因為為什麼？因為我的客戶嗯常常碰到就是安全邊界的問題，那所以呢地端模型部分解決他們的問題啊。好然後我們會看看怎麼認識一個 model，如果你要用地端模型你勢必要去 Hugging Face 下載 model。你怎麼認識這個model，它講了什麼東西它的名字代表什麼？好然後當你有了一個地端模型的機器你有了第一個 model。
你就要知道怎麼樣讓它來幫你做事，我們會講一下 Inference Engine 有哪些好用的 Inference Engine。呢然後呢我們會談一談 harness，啊這個東西就很重要為什麼？因為不同的 harness 代表了不同的安全邊界。代表不同的呃當出現問題時你你會受到多大的影響，然後最後呢我們會做示範就是我用不同的 harness 不同的 model。組成的 agent 讓它跑一些簡單從簡單到一些安全性比較高的東西，然後會跑一跑。
然後我中間可能就會示範好那 OK 那我們就開始吧，第一個我們先談談 agent 是什麼東西。其實 agent 很簡單哦那麼其實大家還一直在一 直在想說 agent 什麼是 AI 什麼是 agent 什麼是 LM。嗎其實很簡單哦就是 agent 它是一個幫你做事的東西，它可以幫你做任何事情在你的電腦上啊。所以它有安全的問題那麼它要做電腦的事情它就必須控制你的電腦，所以呢你的 agent 大部分是裝在你的電腦裡面的。
啊好那麼它主要分成兩部分，第一部分叫做 llm LLM 啊那第二部分呢就是除了 LLM。之外 agent 其他東西都叫做 harness，好我舉一個最簡單的例子的話啊一個 NBA。球員他的身高體重他的呃百米衝刺速度，他的彈跳高度就是 model 這個變不了。啊這個他改變不了他這是他的天分，那他去這個他的身高體重百米衝刺速度。
他的呃彈跳高度之外他去訓練的技能例如說運球技能三分線技能跟團隊配合的技能。這叫做 harness，啊所以這個 model 加 harness 造就一個 agent 是否多強大。就想說一個 NBA 球員他除了身高體重彈彈跳高度的百米衝刺速度之外它有命中率。啊還有什麼助攻阻攻，那這些都會影響它的能力的啊好所以呢我們在談一個 agent。的時候我們一定會談 lm，它的大腦跟它的其他部分叫做 harness 啊我不知道 harness。
怎麼翻譯那我就講 harness，因為大家都講 harness 啊好那麼這就是一個 agent 的組成。那麼我剛才也講過agent 一定是裝在你的電腦裡面啊如果它在瀏覽器上它就是瀏覽器上的 agent。它只能處理瀏覽器之類的事情，啊它控制不了你的電腦不能幫你把 excel pdf 寫進你的電腦中。
它不能 Computer Use 去控制你的電腦來做什麼截圖啊什麼事情不行，啊好那麼我們就把 agent。分成 model 跟 harness 兩部分之後呢我們就來先來看 model 篇啊model，那麼模型是什麼好。其實 model 呢就是一個檔案它就是一個壓縮檔，啊它把全世界它看過的資料壓縮成一個小小的檔案。好那麼全世界資料有多少呢？啊那可能幾千 T 幾萬 TB，他們其實有數字是就是說幾幾萬億個 token。
啊好那麼他把全世界資料拿過來他看過一遍，它把它大概樣子壓縮成一個大概幾百 G 到幾 TB。的檔案好你們會不會用說全世界資料去哪裡找，來這邊找啊有啊有沒有這個東西。
有叫做 Common Crawl 啊Common Crawl 想不想下載？可以下載，沒問題。
啊沒問題啊沒問題呃先準備個 3000 台，第 3000 TB 的硬碟試試看。
啊呃那是壓縮的，壓縮我不知道啊它可以下載啊好那這就是全世界所有資料那麼它會經過一個壓縮的演算法。
啊那你們可以去看一看，啊它一直在更新每幾個月更新一次好那麼壓縮的演算法呢是什麼？
那其實已經沒有變了 2017 年我們全部都用 self-attention。
或叫做 Transformer 來做壓縮演算法，啊好那麼自從你找到全世界資料你找到演算法。
把壓縮成一個幾百 G 到幾 TB 的檔案之後呢那這個裡面就存了這個全世界資料它的一個副本。
好當你在問他問題時，他就會從這個壓縮檔裡面去找出最適合你問的問題的機率最高的那幾個答案。
好那麼 2024 年它出現一個新功能叫做 reason，就是什麼它在找答案之前。
其實會自己自問自答去想一下哦好 2025 年出現 Toolformer，什麼意思。
它開始能生成，它還是只能生成文章這是 token 啊但它 token 裡面可以帶有程式碼或是函數名稱。
好那麼這時候只要我們準備一個什麼？準備一個 agent loop，我這樣講比較比較。
我不講那麼那麼硬的東西，我準備一個監看者啊我在這個 AI 模型生成的這台電腦上面裝一個監看器。
當我監視它出現程式碼或是我所規定的函數的名稱加參數時，我就把這段程式碼或這個函數拿去執行。
我就開一個 sandbox 開一個沙箱去執行了，好執行完的結果呢可能是一段文字或是一個錯誤訊息。
我把這個訊息再丟回這個 LLM 去接龍，好這時候呢我們就稱為這個 LLM。具備了工具使用能力為什麼？因為我們有個 orchestrator 在找一個 sandbox。
幫他執行東西好那當然現在我們的 LLM 它必須看懂圖，所以呢我們在這個 LLM。裡面我們會可能會放一些圖的 token 就我們叫 patch，叫 pixel patch。
那它就能讀懂圖啊，那它不能產生圖但是它看得懂圖所以 Anthropic Claude。系列是看得懂圖但它生不了圖看得懂圖很重要為什麼？因為當我們要用 Computer Use。操作電腦畫面時，我們需要大家看得懂螢幕上面東西啊好那有些做法是外掛一個 VLM。
例如說我們在做地端模型時，我們可能用的模型是一個單純的文字的 LLM。
這時候呢我們需要再外掛一個小一可能 20bit 的 VLM，VLM。沒有多大那他看懂文字圖裡面的呃看懂圖可以產生文字就好了啊好那麼模型呢大概就是這樣子。
那麼一個模型目前模型分成兩個兩大類，第一大類叫做 frontier 閉源的商用模型。大家都知道就哪幾家啊就是那就是那三四家 OpenAI 的 GPT 系列，Anthropic。
的 Claude 系列有有四個有 4 個強度沒有 Haiku、Sonnet。
Opus、Fable，好那麼 Google 有 Gemini Flash、Pro，那 xAI。
有 Grok，先到 4. 4.6非常強哦好那麼另外一家就是搞笑的我就不講。
就是 Meta，那它到底要幹嘛我也不知道，它之前說要做開源他媽做了一半老跑。
然後現在做一個 Muse Spark，又說要把它開源啊所以我我就不把 Meta 放進來。
好那這個這一個派系呢就是它是一個閉源模型它的權重沒有開放，所以呢你只能用。
你只能用 API 端點的方式呢或是你用訂閱方式去用它，那當然各位其實可以知道。
就是嗯我在前天的小聚呢那聽了 YC 的演講，那其實我當時有個疑問。
我在 Facebook 上也會寫就是現在這些模型廠商這些美國啊，美國之外我另外我再等一下再講。
這些美國的模型廠商他們的模型價格合不合理我想我們各位可以問問自己自己問問看。
啊我是有訂閱 200 美金的跟 200，我有訂閱 200 美金的跟 GPT Pro。
都有訂閱啊那我需要好那其實你們都知道，當你隨便寫一個專案時你都會發現。
你下面的那個那個那個用的多少錢那一個月早就超過 200 美金了。
其實我大概算一下就是我常常聽到人吹噓說我這個月已經用了二三十萬台幣的 token 費用了。
其實你隨便寫一個專案大概就一兩百美金的差不多了啊好但是就是它的定價怎麼定的。
有沒有想過，第一個他美國的電費我就不講美國電費很貴啊那美國的能源都很貴。
所以美國電費就是第一個，第二個他們的工程師的科學家的薪資是 NBA 球員的薪水。
啊是百萬千萬美金等級的，這第二個成本第三個成本他們只能只能用 NV。
跟 AMD 或者是 Google TPU，他們的硬體成本比較貴NV 很貴嘛。
所以呢這個成本反映在我們身上你們覺得合不合理啊？本來我們都覺得很合理。
因為軟體公司做一個軟體做一個模型出來它不斷的讓那模型被重複使用，它去收錢。
啊這是很合理的事情啊就像 Office 就像 Windows 一樣一直一直拿出來賣錢呢。
好那這個東西什麼時候被打破？等一下講啊就是這個成本到底合不合理，啊。
好那這就是閉源模型了閉源模型你只能這樣用啊那 API 加上它定價我就不多講。
第二個陣營，啊叫做那閉源模型呢？它其實有一個大問題就是它服務全世界幾十億人。
所以呢它必須每方面都很全面啊那它消耗到巨量的參數，閉源模型。
呢幾乎都是很大的參數啊好我先講右邊這個女生是誰，啊右邊這個女生是小米的天才少女叫做羅福莉。
啊羅福莉那她在今年 3 月講過她說，啊現在你要進入模型這個市場。
不管是開放權重或是閉源模型你的入場券是 1TB，啊這是 3 月的事情。
但各位記得記不記得去年上就是上個月發生了什麼事，就是 Kimi K3。
- 8T然後千問 3 是 2.4 T，啊所以呢現在看起來就是要玩。
你要要進入這個戰場你要開始提供模型這種大量模型服務，呢你的成你的機。
你的模型入場券是 2T 以上啊那其實像 GPtextra 應該是 5 T。
啊那信託下一代的 Opus6 也是 5T 或 10 T，啊那像八一代的字節跳動。
他們也一直說要開開放權重一個模型號稱是 10 T，不知道反正就是這樣的。
模型其實閉源模型它其實是很難經營的它的成本太高，所以還是小小君那天的話題。
就是很多很多年輕人都都執著在 Trend 模型上面啊其實他們講錯，他們在 finetune。
我們已經沒有人了這個全世界能 retrain SFT 的公司或團體已經沒幾個了。
我數都數得出來，已經沒幾個可能就 20 個了啊那大部分集中在中國。
好那麼這是閉源模型的問題了，啊好那麼第二個第二個陣營叫做開放權重模型。
它不是開源它的程式碼沒有開源，但它的權重開放下載它在 Hugging Face。
你可以下載啊那它的權重長什麼樣子，下載回來你就可以自己進去看 ok 啊。
當然它的價格就是它只有幾層 attention，啊那它的嗯它的 tokenizer。
它的字彙數有多少啦這些它其實都知道因為這模型必須要使用這些資料，啊。
好那麼開源模型到開放權重這種模型呢其實嗯有幾個那第一個就是 NB。
的 name 系列，啊好這邊要解釋一個大家常常的呃都市傳說說，啊 Nemotron。
也是在蒸餾或是魔改中國的千問，那Nemotron 3不是的。
啊其實不是，啊 Nemotron 3自己寫重新做的，那因為Nemotron。
3是 Mamba 架構，那 Nemotron 2是他當時只有參考千問。
啊 Nemotron 3自己寫就不講了，Google 有 Gemma，好那 OpenAI。
有 GPT-OS，啊這個都很老Gemma 4好像好幾個月之前了。
那麼其實90%的開放權重模型都收斂到中國，隨便講就 56。
加 GLM、DeepSeek 有 0813 Pro、0731 Flash。
千問更不用講就是我們今天的主題 MiMo 小米的模式，Kimi K3。
超強 MiniMax，你看網上大家玩 H3 產生影像影片已經玩玩爛了。
啊那還有他還有他之前還出一個 Music 模型，啊渾源。
那麼很中國有上百家模型廠商而且他們幾乎都開放權重啊所以這件事情是一個很大的事情。
為什麼？因為開放權重模型它目前已經不再是玩玩玩耍而已了，它已經是正式進入使用階段。
了啊好那我給各位看一個資料，看一個資料那其實我最常看大家會比較很多很多資料。
我最會看的就是 arena. ai 這個網站哦，arena. ai 很簡單哦。
他怎麼做呢？他其實是讓你讓你啊讓你問問他一個問題，他會去挑選兩個模型。
幫你解答解答之後呢他就讓你選一個好的好的模型你就去選，就是盲測。
就 AB test 啊盲測之後他去做統計看哪一個模型的分數比較高。
AI啊，我覺得大家可以進去看啊。他分成很多項目、很多項目去比較了啊OK。那麼我們就看他Leaderboard啊，那最近大概就上個月他加入了Agent的執行了啊。它其實我們看前面Agent的執行的前10名哦，前10名，它出現了一個大概在一年前從來不可能看到的事情，就是出現了開放權重的模式。Kimi K3，它是開放權重哦，它是自己有它，它雖然是Kimi K3 license，但它的權重你開放了在Hugging Face啦。好以前啊，那Agent的能力，它是新的項目我就不多講啊。
那當然你看到都是熟面孔，都熟面孔啊好。那其實我們看會看另外就是他的Coding能力，Coding能力有一塊非常重要，它叫WebDev。它其實就是Coding JavaScript、HTML這種Coding啊。那我們就想說程式語言都差不多了啊，所以就他其他例如說Python的Coding能力或是Rust的能力、Java也不會太差啊。那我們在看Coding能力的時候呢，我們竟然發現一件事情就是你看前10名啊，第二名Kimi K3哦好。
那其實我我要講的是啊，登上榜首為什麼Opus出來沒多久耶？Opus就這幾個禮拜的事情耶。Opus出來之前Fable出來之後在是第一名很久哦。那Anthropic的CEO叫Dario Amodei，他說過一句話，他說開放權重的模型要追上前端模型要6到18個月。這句話是他今年3月講的啊，6到18個月啊。我們看今年3月的時候啊，我們就講6到18個月，我不想6個月吧。
6個月前是今年2月，各位2月的時候開放權重模型的我們現在8月的開放權重模型被他講的是等於今年2月的閉源模型是什麼？Opus 4.6。所以呢，他講的開放權重模型現在8月應該是Opus 4.6等級哦啊。我們樂觀講說6個月，那18個月那就更早了，可是我們現在看起來不是唉。開放權重模型已經在第一名了，Opus沒出來之前Kimi K3算是第一名哦。
第一名很久哦，然後呢更不用說好。噹Opus出來了就就我就不講了啊，但他們已經是同一個領先群了啊。再來就是什麼？再來就是千問3.8剛出來啊，然後再看到什麼GL 2.3就是前10名啊。我們講前12名啊，123前12名這三個都開放權重456前12名有一半是開放權重模型，前三名有2名是開放權重模型。所以很可怕啊，就開放權重模型已經可以使用了這沒有問題了好。
那所以呢地端模型就保哥跟我商量，我就覺得地端模型我們一定得講。為什麼？因為它已經可以取代很多工作了好，那麼開放權重模型就是除了地端之外啊。那其實很多雲端廠商都有部署啊，那你這些那些大的前瞻家AWS、Azure跟Google的呃他叫的呃Google的那個他們的的那個雲端服務都有提供開放權重模型，那可以選了。
那NV的NIM也提供了一堆開放權重模型哦，如果你有訂購訂閱你可以用哦。OpenRouter今天剛被剛被那個收購啊，被那個Stripe收購啊它也提供一堆開放權重模型哦。所以呢開放權重模型它其實是有雲端服務的，那當它的選擇很多從10B、23B、1B開始到3TB都有選擇。它可以部署在一台電腦上大致雲端廠商這這一堆啊，雲端廠商啊。
那如果是你可以把它，你可以使用雲端的開放權重模型在公有雲啊就像右邊這個圖這些廠商都有提供。你也可以把它部署在私有雲公司有私有雲放進來啊，你也可以把它放在什麼區域網、區域網路啊。你可以把它放在單台的DGX Spark或者好一點的GP三版啊，換句話說它的這個它的邊界是非常可控的。它不像雲端模型只能放在Spark可以給它到處放啊，它放在馬斯克的雲端、它放在微軟的雲端、放在自己的雲端。
那它的東西到處放，但是如果我們用開放權重我們有好的硬體我們可以放到自己的安全邊界裡面啊。所以開放權重模型是一個非常好管理的模型呢OK好，那麼我們現在呢就開始講一些今天的重點。我們就要講兩個模型其實本來只是要講V4啊，但是呢我們因為千問太紅了。
因為這兩天都在玩千問哦所以呢就加進來了哈。我先說了，我先說就是如果你對中國模型有疑問的話你就不要用、你就不要用。如果你是公家機關或是你們政府單位或是學校不准用中國模型那你就聽聽看，就當聽故事就好了。那如果你想使用的話我們就多講一點啊沒關係因為每個人對中國模型的看法都不太一樣啊。所以就大家就想用就用，不想用就就不要用好啦好。
那我為什麼要挑這兩個？因為它一個叫做MoE模型，一個叫做Dense模型啊好。我大概我不講技術我就講一些簡單的東西就好了啊好，那麼先講DeepSeek啊。DeepSeek是一個MoE模型等一下講啊好，那麼它的它有很多種啊它有呃Flash有Pro。那Flash的參數就少一點，Pro的參數多一點啊好。那麼他們他這叫做MoE模型所以呢他MoE叫做等下會講啊，那他就我就舉個例子就好了。
各位你們常常在開車啊，你們在開車的時候突然交通狀況變得很很很不好。摩托車到處衝出來呃人行人到處衝出來，這時候你腦袋是會專注到注意路況對不對？你會去想到古典樂或是想到莎士比亞的文章嗎？你不會好，你的大腦會騰出要用的那些神經元去注意啊。那你在聽古典樂的時候你會忽然想到啊我現在要緊張去面對賽車的問題不會嗎？你就會去欣賞古典樂啊。
這就是MoE模型，你大腦只取出一部分的東的的神經元來應付你現在目前遇到的狀況。好這是MoE模型的特色的了，那相對MoE模型叫Dense模型就是你的大腦在開車的時候呢不但要注意路況還要去想古典，因為還要去想莎士比亞的文章啊好。那就是Dense模型了好那麼我只要講一些概念就好了就是你看到什麼CSA啊，什麼什麼什麼Sparse Attention啊。
什麼Hyper什麼什麼Attention啊那我這全部我只用一件事情帶過就是Attention啊。我們都知道為什麼Transformer會變得這麼紅，為什麼2017年的八個人推出論文到現在十年了啊。我們到我們AI發展的十年，NVIDIA的GPU都要進入到第几這第几代了？從什麼什麼什麼Grace Hopper、什麼Vera Rubin、什麼Rubin Ultra一直在進步。我們用的AI的架構還是Self-Attention，你不要跟我說Mamba沒有進入主流啊而且Mamba還要去混Attention啊好。
為什麼？因為它有兩件事情，第一件事情它能做非常棒的查詢啊叫做QKV、叫做KV啊。那KV值其實我簡單講就是大家都不覺得這東西好新奇哇，為什麼叫QKV啊？這個東西根本都不新奇它就是資料庫查詢啊。你給資料庫一個Query、給它一個Key，它就跟這個Key去找到Value不就QKV嗎啊好。那麼Attention就是這樣子啊，它把自己這個向量、這個張量特別又生出三個QKV來。
讓模型可以訓練啊，然後呢？他去看每個Token的QKV就是做資料庫查詢。但他因為資料庫查詢只有查到跟查不到，但是QKV是做模糊查詢他是查到一點點就說哎我這個資料有多符合啊。多符合就是有個幾率來表示啊好，所以他需要做KV相乘啊QKV就這個意思啊。那麼所以呢我們為了讓查詢例如我一句話我要一句話我要查詢它跟我現在這個Token的相關性。
我要根據我這個Token的外面的每一個Token去做QKV的資料庫查詢運算就這樣子啊。所以呢KV值這個值會變得很大很大，因為QKV是KV相乘在做Softmax啊。換句話說呢那為什麼我們要這麼做？因為我們可以真正知道一個Token跟其他Token的關聯性有多大啊。但是這需要非常大量計算，那麼NV發財的原因就是因為它Attention這個機構、這個機制能做平行預算運算。
它在沒有加入Position Encoding之前它是沒有位置的，它可以同時一起算。算的時候再加入Position Encoding但最近這種RoPE啊我就不多講了，那所以呢KV值它就會相乘然後去做運算。發現這個Token跟我其他Token的相關性有多高啊好，那麼KV值相乘這件事情呢就造成Attention非常大的負擔啊。所以你看到CSA、HCA什麼mHC這些東西全部是為了讓KV值的運算變小啊。
我就不講這些細節了，細節都在旁邊各位可以去你可以自己去問什麼叫CSA、什麼叫HCA。你就問他都會告訴你的一清二楚，他會畫圖給你看哦我我只告訴各位一個原則就是為了讓KV Cache省下來。因為它運算量太大哦，那目前為止明年就第10年2027年我們還沒看到能取代Attention的架構了。
那麼呢它的特色就是它在中國它的運算資源很少，它只有少量的H100跟可能是更爛的H80。最近H200才開始開放，我們這邊都用GB300、G300、B300了它還在用H100啊，還有華為的昇騰910C。那他們為了讓這麼爛的硬體能做到一樣的效能，他們就會在架構上做非常大的精進了啊。這就回到我剛才最前面講的模型成本到底合不合理哦，我剛剛講過美國模型是用美國的工程師的薪水。
是NBA球員薪水然後呢？他們需要很大量的GPU還有美國的電費，中國電費呢？中國的發電數量他們核電廠是不需要什麼真正的環評呢？他們要蓋核電廠都隨便蓋啊，那他們的電非常便宜。中國的發電量是美國跟印度加起來總額還要多了啊，那他們的工程師的薪水當然是很高。
那時候因為川普的簽證的問題工程師他們不敢去美國落地生根成為美國人，他們就選擇進入中國的AI公司啊。叫第二代AI公司啊那麼他們的薪水當然不會像NV或或是OpenAI或者是高到跟NBA的球員一樣，但他們大概就1/10的薪水。再加上中國幾乎不要錢的電加上雖然比較爛的GPU，那他們推出跟頂級模型同一領先群這麼好的模型。
他們的成本低很多很多這時候我再問你，你認為Anthropic、OpenAI收你一個月200塊或是一個Token多少錢合理嗎？啊，當中國模型同一個Token攜帶的資訊量跟你美國模型一樣多它的價格是你的成本是你1/10%或1/50的時候這個市場會不會重新再定價？我不知道啊，我不知道但是我覺得一定會的啊好。所以呢那DeepSeek就充滿了這種優化模型的技術啊，什麼CSA、HCA啊、mHC。
那MoE剛剛講過MTV點在講啊好，所以呢大概是這個樣子。那現在又有千問啊那X模型也有了就更不一樣了啊好，那這個我就不多講反正我告訴過就是KV Cache的解決問題啊。例如說把它有些是把KV Cache什麼壓小一點啊，或者說把它嗯降維啊就是把它變成像MLA把它降維啊。CSA把它索引起來啊，HCA把它分組再從裡面挑啊都是為了讓KV Cache的壓力變小。
就是就這個因為相乘起來那個量太大了，但你不相乘又不行因為你要對每個Token做檢索了啊哈OK。那麼這就是我講的中國模型開放權重的模型他們在架構上做非常非常誇張的調整啊。那如果你想知道這些東西的真正做法就去問ChatGPT，我只是放上讓你知道一下而已了啊。知道一下而已了好那麼MoE其實剛才講過就是你的大腦只需要一部分的神經元去針對你現在遇到的事情來做反應。
好那嗯另外就是說mHC是剛剛我講的也是一個優化的東西啊，那MTP我要另外講就是它也是我們在做模型訓練時的一個方法。就是我們一般來說啊我們在訓練一個嗯Transformer模型的時侯呢，我們是這樣子啊。他找到人類講過所有的話就是Common Crawl然後呢他把這句話往右移一個做一個移位啊。
然後呢？要美你例如說我今天說呃台北今天有下雨，那我輸入台它的標準答案是北。我輸入北它的標準答案是京就是把那句話往右移一個就標準答案的啊好，那麼他最後會吐出一個他觉得是標準答案的字。這樣訓練的我們就看過全世界文字把它做一個Shift然後訓練模型啊，那MTP不是這樣子。
MTP是啊MTP啊它是讓它一次就一三個讓它去看後三個Token，然後能讓他去預測後三個Token出來啊。所以呢他一次就丟三個Token出來啊，那這三個Token有沒有命中不知道那他其實有一些方法讓你說能讓你多命中幾個。比如說一次丟4個Token出來那你運氣好全部都命中那你的模型的輸出是不是就快了4倍啊？這是MTP啊。
那麼現在流行的模型訓練都會有MPT啊叫做Multi-Token Prediction啊，當然你的模型要支援、你的Inference Engine也要支援了哈。那所以呢我們最近常常看到千問放上MTP之後呢發現它速度快好多好多嘛，那目前等一下講千問我們再講了啊好。再加上量化等一下講量化啊好那麼量化就會讓你模型變小、變小了OK，所以呢這就是我們最近看到模型不斷進步。
而且這些進步其實我相信美國模型都有這些進步，但是中國模型它把這些進步的方式開放出來在論文裡面都可以看到啊。好OK這是我自己寫的一個程式啊，當時我在NV的場子上為了示範Dense跟MoE呢我找了兩個模型。一個千問2.5 7B，一個是OLMoE這是很早期的MoE引擎啊嗯14GB。我就挑了兩個大小差不多的模型然後呢去對比看讓你看一看MoE跟Dense模型就是一次要去掃過全部參數。
左邊是Dense右邊就是MoE，它其實真正在跑Token的長相啊我們看一下。看一下它其實長這個樣子啊，MoE指亮的地方就是它只看的只看過的部分。下面就是Token的產生啊、Token產生因為這個模型對中文不好所以表現不好，所以它會產生出一些呃UTF-8的碼。我們看這是它的產生方法啊、產生方法你會發現其實MoE它跑過的參數是同樣的大小。
它跑過的參數大概1/4啊，1/4啊好這個程式我開源在GitHub你可以自己下載玩一玩。就看看大家長什麼樣子啊好OK那麼那當然就是一個Agent的評測了，那DeepSeek呢它就是把自已的表現已經拉到這個等級啊。這個等級你看這個等級就42.7 50這60啊就是這個很多評測就不斷。
就是說我很愛看Terminal Bench就是在讓它在一個終端機中去做很多事情它的完成度了啊。那我們看到開放權重模型已經接近到Fable當時被講成什麼樣子啊？什麼AGI、什麼人類最聰明、什麼攻破什麼還被國防部禁用啊。我現在開放權重模型都已經接近你了耶有沒有？都接近了啊所以很可怕哈，就是說真的很可怕。
好就開放這個模型已經追上來了啊好好OK那第二個我們要講的是千問模型。千問它是一個Dense模型但它很小很小，那它的Hidden Size才5120啊。那就它的這我就不多講就是我們常常把嗯，我們常常把一個字、一個Token變成5120個向量啊。每個現象代表一個意思，比如代表大小、輕重、軟硬度是男是女是好是壞啊。
那這個不是我們認定出來的，這是一個Latent的。
latent 就是一开始隐变量啊，那它有24万个字 token 啊。那它的 tokenizer 24万好，这个就很接近主流模型，那我记得 GPT 好像也是20到30万之间的啊。好，那它就这个主流模型长相啊。然后它的架构呢也是一样，它就是嗯想办法让 KV cache 变少，让它速度快一点的啊。然后呢，它是一个能看得懂文字跟图片的模型，所以大家可能做 computer use 啊。
我其实昨天有丢一个脸书的文章叫他去帮我，我用一个破解模型叫他帮我下载。但我没有真的做了啊，我真的没有做，就是帮我下载一个最近的电影的 torrent。他真的开始帮我做，那有时候破解模型了啊好。那他的 context window 260000差不多了，其实不见得每个模型的 context 都需要到 email。
为什么？因为 email 之后呢，其实中间那一段 context window 会烂掉会。其实模型会不去读啊好。它可以开思考模式，它可以开不同强度思考模式。它可商用、可微调、可再训练，它是一个完全开源的模型。
它已经不是开放权重了，它是一个开源自模型，很夸张了好。所以呢，最近就大家在每千问 2.3.8 27B 啊好。那基本本来说要出3.8 35B MoE，但是我也把这个画面抓到。结果好像因为曝光他就把它取消了好。
这个我就不多讲了，我不讲这些技术的东西啊。我觉得时间很不够了啊，我只剩下二十几分钟了啊好。那当然了，就是说嗯，他能看得懂文字，他也能跑 workflow 没有问题啊。
它在跑这些 agentic workflow 时候呢是非常非常棒的啊好，等一下我会示范，我会示范啊 ok。那所以呢，如果你今天你有一台呃128GB 的硬件啊，我不讲就是说你有一台呃5090啊。
那它32GB 啊，那你就可以轻松的跑上 FP8 版本的千问 27B /3.8 了没有问题啊。因为嗯，呃就刚好塞进去啊。那4090可能吃力一点，但如果你不好 NVFP4可以就可以完全塞进去啊。
那它其实 FP8 降到 NVFP4的精度掉了大概两个百分点而已，所以很不错。非常不错哦，进203080GB。然后呢，当然如果你有 DGX Spark，你有 Mac128G，你跑起来太轻松了。
太轻松了，甚至你可以再去挂一个其他的模型再做其他事情了好。那么但是它的重点就是说它已经可以让你不需要使用云端模型去做事了，你可以把你的模型放在地端，不出云端好。
这对资安很强调的公司机构来说非常重要啊，非常好好好。我继续往下讲啊，往下讲 OK。那地端模型的存在必要性哦其实我最近在强调这件事情是大家都觉得可能有些人还留下旧的观念。
就是说地端模型就是玩具啊，只能用只能做一些问答啊不不是这样子啊好。我等下去示范我我已经在做的事情了啊，我已经在做的事情啊好。那么地端模型有特色第一个它的它只要跑一小群人的目标例如说公司几百个人的 agentic workflow 它不用像闭源模型一样什么都好回来。
第二个它的 LLM 本身就放在私有云区域网路本机上面根本不会出到你公司以外的地方，非常安全。第三个呢就是如果你搭配好的 harness 它执行的地方那就更安全了那等一下讲 harness 啊。
那例如说我们嗯用 Claude Cowork 的时候呢其实你的你执行 Claude Cowork 的东西就不是本机不像 Claude Code 在本机执行啊。Claude Cowork 它可以执行在本机的 VM 中，它也可以执行在 cloud 云端的 VM 中啊好。
怎么证明其实很简单你在你的本机上装一个虚拟机例如说我在我的 Mac 上装了一个 VirtualBox 虚拟机啊。我在 VirtualBox 里面呢它是一个 Mac 的 Mac 的虚拟机再装一个 Claude Cowork 就不能用。
为什么？因为我虚拟机中开不了虚拟机啊就我 Mac 不支援巢状虚拟机构架嘛啊。那也许 Windows 可以我没试过啊但是我在我的 Mac 上的 VirtualBox 开一个 Claude Code 就不能用。
那就是因为它虚拟机的它的 sandbox 开在本机的虚拟机上啊好。所以呢如果我只要服务固定数量的团队几十个人几百人那其实我大可以使用地端模型因为它已经够强了啊好。
那你怎么开始？那其实我的开始就是 DGX Spark 啊好，我现在最后悔的就是我只买了一台。那现在叫我买第二台有点贵了啊那一台当时我买我已经买贵，我买13万5了啊。
那我就是买这个版本啊就是这一个颜色我不是买其他牌，我就是买 NV 的啊。好那它发热比较比较高它的冷却比较明显好像有限速了啊。
好，那大家诟病的是啊它好慢它的频宽很慢它才 EPFlop 有什么好用的。各位我们要的不是快，我们要的是可用啊128GB Unified Memory 塞模型这件事情非常棒啊。
我可以跟各位说啊在买 DGX Spark之前这个地端模型跟我的生活是生命完全没有关系的。Hugging Face 什么新模型我看都不看跟我无关呢，我只有一片4090。
24GB 我只能跑这些20B 左右的模型呢那根本就几乎没有什么嘛很奇怪啊。模型20B、30B有了，这下就直接跳120B了中间30B的、50B的呃40B的、80B的那几乎没看到啊。
好，但是有这个之后呢 Hugging Face 的模型就变成我的生活重心为什么？因为它可以帮我做事啊 ok。那其实它可以跑出大概30token 每秒钟哦，如果你是并发或平行更快可以到八九十啊。
那如果你模型再小一点像这次用千问27B哇，那跑到八九十都没有问题啊好。所以呢这对很多公司行业来说或是你要帮人家部署地端模型的团队来说你可以做什么？
可以做 POC 啊为什么？当客户问你说我能不能做这件事情的时候你买一台十几二十万 DJspark 先试试看能做再帮他去部署更好的硬件 GB300 的 cluster 或是他的私有云上面啊。
好，那当然你想跑大模型就多买几台啊现在已经贵起来。其实我记得上个月 DGX Spark 都要到二十几万了，这个月掉回200000了啊。那没办法因为内存跟 SDD 涨太凶了啊啊。
所以你就可以做 POC，你能做 POC 再去部署就好了啊。那当然你就说你有很多选择了你有很多选择想跑地端模型其实有四个选择：左上角 DGX Spark，右上角 Mac3 我有一台我现在是用 Mac 在跑啊。
另外地端模型左下角是嗯 AMD 的 AI395或495那它也是128G。但是右下角是大概没再过一两个月出来的 RTX Spark 它是 Windows on ARM，再加上 DGX Spark里面的 GPU啊也是 EPFlops 啊。
好那你都可以选择其实你不一定要 DJspark，但是左上跟右下的好处是 CUDA 你有 CUDA 你就省掉很多麻烦啊。那左下的好处是 x86，为什么？因为很多 Docker engine 多 inference engine 它只有 x86 的架构。
那右上角 Mac呢本来是比较少资源但是现 mlx 的模型一大堆啊所以如果你有一个128GB以上 Mac你也可以用。但是如果你是很依赖 CUDA 生态你就选择 DJspark 或是 RTX Spark快要出来了啊好。
那当你做完 POC之后你大可把你的成果部署到真正的应用上例如说你去买一台这个 desktop 的 GB300啊好。那很好玩，当时我用这张图片我在回答的场子讲讲到这张图片的时候呢没想到我就用到技嘉的。
这是技嘉的机器啊，技嘉业务之后我就抱一台机器在现场他说你在用我们家机器当图片啊。我说不好意思我拿掉他不要拿掉，不要拿掉帮我们打广告啊好。
这台呢700多768GB吧大概有400多 GB 的 RAM跟300、200、272GB 的 VRAM啊好。那么这台是99000美金那如果你不你买四台就是四十万美金它也不用再去买什么冷却你就插上电就好了。
它就可以把真正很大真正接近像 KimiK3 就可以部署上去了，你就可以跑一个现在全世界第二名的开放权重模型给你的公司用。四十万美金对我们老百姓来说很多钱，但对注重公司安全金融行业、证券行业、银行保险行业这个太便宜了非常便宜了啊。
好，那它不但可以把我们的 model 关进私有云中那如果我们配合好的 harness 关进沙箱中你的资料就会非常安全啊好。
那我目前我自己已经上线的私就是用这样子的架构，私有云加上私有的 harness 架构呢。那太多了我自己工作就什么呃翻译啊摘要啊影片转档啊，什么 Word 什么的 Excel 的去识别化啊。
我早就用地端模型因为它速度很快加比较安全的啊好，那我本来常驻的是 Nemotron 它换成 DeepSeek这礼拜换成的千问2.5 27B /3.8 27B啊就换掉了啊。
好那 OK，如果你已经有了一个机器你也知道然后你可以用地端模型那我们怎么认识一个 model？我们怎么认识它啊好。那我们就来看看我们去 model 的大本营就 Hugging Face，大家应该都知道 Hugging Face我就不多讲了。
Hugging Face那这就是我们去找模型的大本营了啊它就有 model啊就一堆 model 就一堆 model了。好，那怎么看一个模型？
它的名字你怎么去认识一个模型它到底代表什么意思啊我们就来讲一下。就来讲一下好像 model 一大堆啊讲不完，它好像有300万个模型就用不完了找不完了。
好那么各大公司都在这边放他的 model 都可以下载啊例如说 Kimi K3嗯可不可以下载没有问题。Kimi K3呢那只是很大，这边2.8T了啊你要先准备一个 2.8T的硬盘了。
好，那么这个 model呢？我们看到模型其实有我就举一个例子啊例如说我举这个例子 NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4。
好它大概有几个东西第一个就是公司名称不用讲大家都知道公司名称啊，如果模型名称、版本都不用讲了。那么再来就是什么参数大小就是说550B 参数大小，它如果后面没东西它就是一個 550B 的 Dense模型。
它不用自己强调自己是 Dense，它只要后面 550B没有数字了就是一个 Dense模型。就是每次使用时候跑过全参数的模型啊好，那么如果它出现 A 多少 B什么意思它是一个 MoE模型。
它每次只启动55B像这个例子就是启动 55B啊好 NVFP4是什么意思量化，量化等一下讲 ok。那么当然你会看到什么 QAT啊 QAT这边什么 E4B 什么 IT啊 MTP啊我都慢慢讲。
第一个 QAT就是什么叫量化我们知道现在的电脑代表一个数字例如说我们用整数那就是用呃比如64位元、64位。
64位就是四位元啊八位元的整数，那它就是 2的64次方从2就从2就有32次方的可以表示就正到负的整数啊。那浮点数不能这样子定，浮点数它有一个叫 mantissa 跟那个 exponent就它有一个嗯的 mantissa 跟这个位数啊。
那这个位数呢其实我们就发现它限制很多了，好那么我们一般我们会用例如说16位元的大小来记一个浮点数。问题是呢在模型的参数中0.12跟0.123456它的意思差不多。
我们不需要去记到 0.123456，我们只需要记到 0.12就好。所以说我们花呃看起来只有三位哦其实就不用记到六七位了它带的一直差不多。
这是我们就把模型用的这个位数减少这就叫做量化，量化很多方式啊就是它有很多很多方式了啊好。那么量化呢有个重点就是说大部分你先看到模型是训练出来的这就把里面的参数量化啊把它变小。
那其实也有在训练时候呢就把它量化它发现有些地方可以就直接用比较少的位数来代表啊这叫做 QAT。所以你会看到有些叫做 QAT模型就是它是量化感知训练模型，它在训练的时候就知道要量化。
那大部分你看到量化模型都是之后才量化的啊好，你会看到什么 Q4_K_M啊那这是某种 GGV 量专门用的量化方式。Q4就是四位元 K是它叫 k-quant它的量化方式啊 M 就是大中小 M是中，有 large 有 small。
14B是一个新的东西就是它其实真正能代表的 effective 4B，就是这个模型呢也许说它是一个嗯10B、14B啊。那其实它只能在进机体大小大概就67B啊为什么？因为它用 effective 啊。
好我这边补充一下因为它是用 effective，就是像刚刚这边的这个550B A55B哦它在载入时还是要把 550B全部载入。它不是只载 A55B哦，550B要全部载入但它在 inference 时候它的 token只会使用这 55B所以比较快。
但是你还是要准备 550G的内存哦好，那再来就是 MTP我刚讲过就是它可以一次预测多个 token。那 MTP 你必须在训练时照做，那你训练时没做这模型就不支援 MTP会快很多啊。
那么你会看到最近流行就是两个格式一个叫 dspark，一个叫 eagle 啊。那他们方式不一样但是他们都可以支援 MTP 啊好 it就是 instruction tune，就是这个模型经过 instruction tune。
就是它会遵循人类指定这个一般在预训练的第二段做叫做 SFT啊所以有些模型叫做 base model它只会做文字接龙看不懂呃指令。
举个例子来说例如说我把一句话丢进模型这句话叫做巴黎，呃法国首都是哪里啊如果经过的模型他知道这是一个问句他会回答巴黎。如果你丢进一个 base model说法国首都是哪里，他会接出来美国首都是哪里英国首都是什么法国最大城市什么还乱接。
但经过 IT之后呢他就知道要回答问题了啊，那在经过 RL之后就回答正确的问题了。好那就是 IT啊那么另外就是你最近看很多这个就是不知道能不能讲你看这边有一堆 uncensored 啊。
uncensored一堆什么意思有一堆 abliterated的太多了我就不讲了，就不讲什么意思就是被破解的模型啊。还有 NSFW 啊叫做 Not Safe For Work这些会输出非法内容，我昨天有丢出一篇 Facebook。
我试一个模型他真的会去破解别人的网络啊，他之前他就是他之后跟我说你想破解哪一个网站你把网站贴给我我帮你破解。大家不要用是犯法的，不要用啊好所以你要了解模型的参数 OK。
那我们就往下看啊好我看今天可能快延长时间了，所以呢等一下如果讲到9点没讲完我们就休息好不好？就休息10分钟。好保哥说今天上线晚上12点 OK的，按赞我们没有时间限制啦 OK。
好那就是说如果没有时间我们俩就休息一下我怕各位大概上洗手间了，有人你看有人嫌太早了。
就怕讲不完了啊，不会了，不会了，不会了。对，好啊！你讲到一段落我们就休息一下也OK啊？哦，讲完这些我们就休息啊。可以啊，好好！那我们现在关心就是你要问我说我的4090 24GB装得下整个模型吗？那5090装得下这个模型吗，哈OK啊。
其实我们要算很多东西啊！一般来说了，一般说来就是说我们会从FP8就是8位元量化的模型来当做一比一的基础啊。就是什么？例如说这个模型，它说它是5550B啊！那么如果你是FP8的话呢？它就是550GB，刚好装得下啊。就是说Qwen 27B，那它量化是FP8，你只需要27GB的内存。
如果你用BF16，它是一个精度啊！那你就要多一倍、多一倍的内存。所以呢？你就这样算啊，FP8刚好就等于我的记忆体的数量跟模型的参数数量就是GB和B的差别啊。那么NVFP4呢？它不会是刚好除一半，不会！它会比一半多一点点啊。
多一点点点啊？所以就说是我的呃Qwen 27B你如果是FP8就是27GB，你的5090装一下。如果你是FP4？你可能就是差不多十二、十GB左右啊！但是呢你不能这样算，为什么？你要占KV Cache啊。那KV Cache占多少呢？
其实看你要准，你看你这个模型的attention有几层！如果你层数很多，你要占多一点。还有用的人多不多啊？那你用的多人，你要多占一点呢！那另外你模型的平行输入数量多少也要多占啊。好，所以就是为什么我们大家那么喜欢Qwen 27B？
因为它一个32GB的5090就可以跑得非常好！占的KV Cache也够多，context window也可以够大啊。那么另外就是呃我们在下载模型！其实我们不只下载权重啊，我们下载很多东西：我们下载tokenizer定义档、config.json、toolparser的一些规则档嘛。
好，那只要你忘记下载或弄错就跑不出来啊！所以就有人把这些东西全部变成一个档案叫做GGUF。那么GGUF就是我们常常看到的Ollama、llama.cpp啊，他们就是用GGUF把刚刚我讲这些档案全部变成一个。
那你只要下载这个档案就可以跑起来了！你只要用Ollama就那么点CPP啊，等一下我们会讲这个东西就可以跑起来啊。就比较方便啊！好，但是它的参数设定一定不会比其他的好。等一下我们就讲到这一段啊？
那我们现在先休息个10分钟，我们9点07分回来好不好？9点07分回来啊OK。好那我们就休息听歌，那我就来分享音乐啰！谢谢保哥，保哥唱歌我都放我的音乐创作。好，我看一下啊：分享我的电脑音讯OK！
立体声分享声音OK？好，那我可能要把画面切过来。电脑音讯OK！可以了。好大家赶快去上厕所哦，我就来播歌就好了。声音？声音还可以吗？
微风轻吹过街角，阳光刚刚好；看着你的微笑，心跳在狂飙。手心裡的温度，偷偷在升高！这感觉多奇妙？像雾从裡飘飘 I love you baby。听我的心跳，为你设计的歌每分一秒！播放着音乐，幸福在环绕 I love you baby。
跟我一起跳，两颗心紧紧贴着刚刚好！这份甜蜜永远不退潮？手牵手走过斑马线的街口，看夕阳染红了整个宇宙。不需要太多复杂的尝试！只要看着你就是最美的事？就算世界再大我也不会迷路，你的眼神就是我的专属地图。
重复播着我们的专属情歌！这一刻幸福已经定格 I love you baby？听我的心跳，为你设计的歌每一分一秒。播放着音乐！幸福在环绕 I love you baby？跟我一起跳，两颗心紧紧贴着刚刚好。
这份甜蜜永远不退场！Oh baby I love you？最甜蜜的节奏，永远不放手。深夜两点的办公室里，键盘敲击像是一首交响曲！你打开Claude开始分析？指引着我们突破无数困局。
用JS写下奇迹，你手把手地教着同学！每一个行号都仔细地校正？不管是Python的逻辑还是复杂的系统设计，有你在代码都变得美丽。保哥好帅！终端机裡的光芒？指尖下闪耀着无限的想象。
问问Copilot寻找方向，每一次debug都是实力的碰撞！保哥好帅？写下无数的辉煌。微软的MVP散发着光芒，你带着智慧走向新时代！用可靠的探索未知的未来？临迈的技术随手连来。
每次优雅的解决方案，都证明了你的无可替代！不畏艰难追求机制的完美？在技术的世界里你是绝对。带领着我们一起高飞，你就是我们最崇拜的地位！保哥好帅？终端机裡的光芒。
指尖下闪耀着无限的想象，问问Copilot寻找方向！每一次debug都是实力的碰撞？保哥好帅？卸下无数的辉煌。微软的MVP散发着光芒，代码在运行！系统在歌唱？保哥的帅气永远在我们心上。
古月的风带走最后的人行，那一叶长丹惊醒了深夜的宁静！我们在无边的夜里盲目地前行？堆叠的字句烧光了所有的星辰。忘记了可这才是最美的风景！对话过多模糊了清澈的眼睛？时空的代理在黑夜裡独自刻印。
不如在分岔路口按下分支的脚印！把那些纷扰关在隔离的梦境？把沉重的负担拆成微笑的愿望。安稳的潜坠命中那一抹日光！不需要重复寻找，不再盲目迷惘？保持著初心感情。
沿途才有花香，有了一张望！记录下每一步的光？安全的隧道守护着最初的期盼？从破万的惊慌到十分之一的平淡。这份励志的努力指引让每个人都心安！把沉重的负担拆成微笑的愿望？安稳的潜坠命中那一抹余光。
不需要重复寻找，不再盲目迷惘！保持著初心？赶紧沿途才有花香。思绪沉淀了，预算安详了！这首歌的终局遇见久违的快乐？每一行号都是安心的模样。
好OK，那我把对分享切回去哈！我舍不得继续听？舍不得切回来吗？继续听行不行？好听还不错吧哈，全部都是AI创作的哦！好聽好轻快啊。是是还不错好了好？我们回到无聊的地方吧？
好好！你谢谢荧幕，你还没谢。还没谢很好，继续讲好！我每次休息时间都要担任DJ这样子？谢谢保哥有了吗？有OK好。
啊哈，那我们就开始讲吧！哈那其实讲完就是说我们了解量化？所以各位知道你FP8啊，就是刚好等于你内存跟那个模型就呈现一比一的状态啊！但是我刚刚讲你要留KV Cache？
你要留Context Window，你要留点余地。因为就是说我们现在用的如果是啊！就是统一内存架构的话？你电脑本身还会需要一些内存啊。那我自己经验是因为像我们用DJspark因为它本身是一个Linux啊！
所以比较小？那所以它能它系统佔掉内存比较少。那如果你是用Mac也占的也不会太多啊！但如果你是用AMD那一台？
那台因为它其实是Windows系统啊。啊，但你可以把它装成电子没问题啊！噹Windows系统它其实呃我是没有那个机器啊？但我一直在等。那本来大陆有个极摩客我没有买到，那我听分享的网友说它大概是96GB就满了啊。
所以你自己大概算一下？要算一下啊！那当然因为我们现在用这些UMA架构的内存频宽都很小，它是没办法跟5090、4090比的。但它的优势就是它的内存很大，但它速度比较慢！
所以你要自己做取舍？那如果说你已经找到一个你要模型了？你也觉得这个模型大小放得进5090！那你就可以把它拿来做你很多？比如你一个公司小团队系统服务啊。
那前天在小聚就遇到最后一个讲者！他们只需要用很小的一个VM跟一个OCR模型啊。所以他们就把它们compile成他们要的大小塞进4090服务圈公司！非常好用啊？这就是可以这么做啊。
这找到你的模型，然后你觉得大小够刚好够用就可以选择硬件啊！那接下来看就是inference engines？
那其实等一下我会示范啊，会示范。那inference engine很多啊！那我我？对因为我这个分享会是主要介绍DGX Spark，所以我们就以DGX Spark为主。那如果你是例如说你是Mac？最近最疯的就是Dflash啊！
Dflash那MLX架构啊，我的Mac也有跑啊？但是那就今天分享因为就太多东西了啊！好那么inference engine大概就这几个了。
那第一个就是llama.cpp？就是老字号元老级的东西啊！它出来之后呢我们就发现它对它是用C++写的？而且它用GGUF这种打包型的形态的格式啊！所以它很方便啊。
那你可以直接跑llama.cpp就llama-server啊？或是你直接用Ollama也是用支援这个格式的。好就可以跑啊！
那但是他们的问题也是他们优点？是他们的缺点就是模型格式很专一。所以呢他可能不太会让你能跑各式各样的模型啊！就是说可能他不支援NVFP4？他没出这个模型你就不能用，你就不能用了。
那么Ollama很多人用！因为llama很方便好？那它也几乎是可以支援所有的啊，就是llama的cpp格式。但是也是一样！
就是它还是呃不是真正你在做事实的主力啊？你可以来做测试实验啊好。那我是从开始的后来慢慢就转到其他引擎去了！
那么LM Studio这一类或是最近出于Unsloth Desktop都一样啊？就是如果你呃用DJspark你不介意进去它的界面裡面用。
啊！就是像我是把DGX Spark放在我的伺服器的房间？那就都是SSH连线。都是用VNC连线的啊！所以就不在我前面，所以就不太能用了。
好但如果你你把你像很多公司！我就是看真的看看很多公司为了怕S8被人家干走啊？就必须放在那个使用者的桌面上。
然后他怕把保护啊！因为下班没他干走怎么办？所以他就他就会用那个桌面来用。就可以用LM Studio，很好用！它可以调MTP？可以调twousing都可以调很方便。
也很好用哦好！那么TRT-LLM是NV亲娘出的推论引擎啊？那只要是NV的模型或是NV的NVFP4的模型它都非常非常好用。
其实它的参数比较麻烦哦！就是你要去调它参数啊？好但是论速度论相容性CUDA相容性它是最好的。
那么我最推荐就是VLM！为什么？因为它的参数设定太太就太完整了哦。就是你每个参数可以设定非常非常细啊！
然后呢？而且它可以嗯也可以变成一个OpenAI的相容端点。我都是这么用！就是我跑VLM跑起来？
然后呢就让我其他的区域网路上的电脑就去使用它！就让大家一起跑而且速度也很快啊。
好那么SGLang也是一个很好用的东西？它跟VLM很像啊！那其实你们看到xAI他们那几十万个GPU的那个Colossal就是用SGLang架起来的？
架起来的好！那么是呃这一类就是呃专门给某一个引擎用的、某一个模型用的引擎也很多啊。网上找一大堆DFlash啊？
DwarfStar一大堆的啊！所以你都可以挑？那如果你真的要呃做事啊因为你是一个公司的团队或者是某一个部门？
那我极度推荐VLM跟SG的啊！它非常非常好用你调它参数啊等一下我会示范给各位看。
好那么我讲到这面呢我就要讲一件事！就是说你们会觉得说那哇这么多推动引擎？它的参数的设计那么复杂啊怎么我怎么设定你要怎么找。
好那我就是用最偷懒的方法！我就在这台电脑上装个Claude Code？然后把这然后把这个模型的model card那一页。
比如说我Hugging Face model card这一页啊？这一页啊model card这一页！把这个复制下来。
啊然后呢你大概就看一下？然后就会告诉你怎么跑了啊这边有各种跑法！
各种跑法好你就把这个网址复制下来？然后呢就直接把这个网址贴给说帮我照这个网址的内容架用什么什么。
它就是架起这个模型就好了就可以！它就帮你做？那当然我的Claude Code有写得很清楚的CLAUDE.md它就不会乱做。
比如说我的CLAUDE.md有规定我可以让你看？一下我的CLAUDE.md有规定的非常清楚啊！
非常非常清楚好例如说我的CLAUDE.md呢规定你架什么服务都要用Docker我就讲清楚了啊！
就是如果是这种一次性的服务？不不不你不准安装任何东西。比如说我不准你安装！
你只能你用Docker啊？那他就会帮你用Docker把它跑起来。那所以呢比如说像我的！
比如说我要看我的我的DJspark啊哦先嗯看我那那一台呢就是固定？就是我像我的VLM什么全部用Docker跑了啊！
看我的VLM啊，我的SGLang啊都是用Docker跑起来的了。全部了！
全部？所以呢你不用去下什么参数你只要把你的model card那个网页贴给他或者是GitHub网页贴给只要Claude Code帮你加用Docker加起来就加起来了。
然后你告诉他说啊什么什么！就是我要开放哪一个port到区网上？它就会帮你把区网开放然后那个port就开放出去。
比如说我我这个toolparser！我要用千问的toolparser？我要用呃Hermes的他就把你做好啊。
你就不用你就不用担心了啊！这是我的做法哦？所以比较比较简单我就不用去记这些参数了。
好那所以呢不管你装什么哪一个推论引擎！其实你都可以用Claude Code加把你做好？很简单的啊非常非常简单OK。
那我其实我这边就我就跳过！因为我其实都讲过了？就是我刚才全部讲完了啊就是它每一个的特色啊我都把它讲过一次。
那其实我觉得这些inference engine对我来说最重要！就是第一个它必须要能随时让我启动啊？
就是说我不需我不要去打它大堆参数！我要能随时启动。那我就是用docker是最方便？为什么？
因为docker可以随时docker start把它停下来！docker start它就起来了。那我切换模型就比较快？不像那时候我用Ollama它切换模型就很慢啊！
那种大可能比较快？大可能一次就可以把它放光光了。然后再stack新模型就像27B等了个十分钟？他就把他载入了好！
再就是我一定要开放OpenAI endpoint！因为我的区网很多台机器都要用啊？这两个抓住再就是我的toolparser。
就是我这个tooluse的parser我就要指定好！因为我常常需要用tooluse嘛？就是用PiAgent我就需要嗯操作我的浏览器或电脑。
那他去帮我弄！所以就是这几个原则抓好就好了？那我我自己试过就是这些东西最好用的就是vLLM哦。
那你们如果真想拿来做正式？就是vLLM我觉得这没有疑问啊！没有疑问很多人都在用。
当然你追求速度啊？就是说你就得去找这个模型专用的Inference Engine！像D像什么DFlash啊这些东西他觉得特别快。
那可能它能它的MTP也支援更多！它可以支援更多的token的预测？它可以支援345个token的预测就更快。
当然呢你要命中了啊！你没有命中就好就会慢下来啊好那么SGLang我也推荐？因为SGLang有些模型它只支援SGLang。
它没有vLLM啊！我这边要提一点？就是说当你用docker去用vLLM或是SGLang的时候呢你要记得就是它有一个缺点。
就是它必须要找到支援这个模型的docker image啊！有就没有？例如像DGX Spark它是ARM架构。
它可能就没有？这时候你只能乖乖去回去用它的参数。
因為它可能沒有出，但是95%的場景我是不會找不到 docker image 的。你會叫 Claude Code 幫你找，一定會找到了，不用擔心了哈哈。那實在不行就也叫 Claude Code 幫你用採取部署一次，只是它會弄得很很臟，就是你的環境會很臟。因為你要知道就算 DGX Spark 有4TB，那其實你東下載西下載 Ollama 也下載 LM Studio 也下載，一下就只剩下1TB都不到。一下你的模型就佔光光了，所以如果我固定用 docker，我只要我一殺就知道去殺哪邊。或者它跟 Face 的 cache 可以直接把它刪掉好。
那 OK，那最後呢？其實我們就講到了安全邊界啊。安全邊界，那其實安全邊界呢？我剛剛講過，我們分成兩樣東西。第一樣東西就是 model，那 model 已經講完了。就是最危險的公有雲安全的或第二、第二危險的 model，雲端廠商像 name 啊。它也在公有雲上，但是它是由廠商背書的、背書的。那最棒就是進入私有雲那範圍啊，那你的 model 進入私有雲、進入你的區網、進入你的地端、你的本機端，那就不會出問題了。
就不會出問題啊好！這是你的 model 的放的地方啊。第二個就是你的 harness 啊，你的 harness 要放哪邊呢？好！那麼我們就來看不同的 harness 啊。剛講過 agent 就是 model 加 harness 啊！那麼呢？其實也分成兩種啊，好。那麼就是開源的跟閉源的啊！那麼現在看到的呢？其實大部分就分成幾類啊。不管開源閉源分成幾類啊！那麼第一種叫做通用啊，比如說你看到龍蝦（OpenClaw），它是通用。
什麼意思？它什麼都能做、什麼都能做！那它能開發軟體，它也能寫程式，它也能操作電腦。它也支援呃跨平台通訊 AFK（away from keyboard），那就是離開你的鍵盤！像比如說 Claude 就有 RC 功能，OpenClaw 早就有 Telegram 功能跟 Discord、Slack 都可以用啊！哈，那麼它能不能使用 Agent？這很重要。這個 harness 是不是、是不是 Agent 最佳化？它是不是針對 agent 這件事情來做的 harness 啊好！那麼這個產品界面是不是好用？
例如說我們以前是用 Codex CLI，後來 ChatGPT 改成 ChatGPT Work 之後呢？你就開始用 ChatGPT Work / Codex 的 app 啊！那在它的安全機器，這個 harness 到底是不是透明的啊好？那麼其實一個 agent 它危、它危險的地方絕對不會是模型。為什麼？模型它本身就是文字接龍嗎？那最危險的地方一定是 harness！為什麼？harness 其實佔了整個 agent 的90%的操作。模型，只是一只文字接龍！
例如說你建立一個 OpenAI 的 API endpoint 啊，它就是一只文字接龍。一直吐、一直吐！那它有時候吐出文字，有時候吐出函數、吐出 JS、吐出什麼東西來。這時候你接受到的 harness 就會開始做處理啊！那所以你的 harness 會操作你的電腦、會寫你寫入檔案。這時候才是危險的，它東西回傳到某個伺服器！把你的東西傳到某個伺服器，模型是活在 GPU 中啊。
模型離開 GPU 就什麼都不會做啊！所以 harness 比較危險，那你這個 harness 能不能被我們 review？比如說 Claude Code，你從來沒看過它的原始程式嗎？它做什麼你都不知道好對不對啊！那、那是個安全精神可控。例如說我用 PiAgent，你用 Gemini CLI，它都是開源的！你可以叫 Claude Code 或叫 Codex 去看它的原始程式嗎？看完之後你決定安不安全、要不要用啊好！
再來是不是供應商綁定？是不是這個 harness 一定要用某個供應商的產品？那目前其實例如說 Claude Code 也可以用其他供應商啊！但就是說，我們還是希望這個自由性。就是說我這個 Harness 能自由選擇模型啊！我可以一下用地端、一下雲端、一下用私有雲、一下公有雲都可以啊。這個就是說減成本控管！就是說如果我這個 Harness 呢？它會不會消耗掉很多 token？
它能在我的預算範圍內完成我的工作哦！好，那它的、他的監控啊。就是說我的嗯、嗯，當我傳上一個內容時！它如果說出錯了？它能幫我 retry 幾次好。那它的內容合不合我公司的規範？它能不能讓我變得很多雲端是它能跟著一起縮放！它能管理權限啊，這都是我們在考慮 harness 的時候會想到的東西啊好。那這是一個哈哈！這是一個 agent 的真正的架構了啊！
那這個其實你、你要、你這個我是用 deepagent 做出來的啊。那如果你這樣真正看，其實哈！真正模型只佔了這一部分而已哦！這一、不是哦？這一部分而已哦。其他全部都是 harness 管的東西好！這個圖各位可以慢慢看哦，就是各位可能覺得 Claude Code 很好用。但是你會發現 Claude Code 或是一個小小的 PiAgent，它都具備這裡面的幾乎每一個東西、它都有。
那模型只佔掉這一塊！所以我常常講危險的地方絕對不會是模型，一個 agent 最危險絕對是 harness。好！所以除了這個之外都是 harness。那麼 harness 我剛剛講過目前就兩派了，就是開源跟閉源！那開源、閉源他們其實都分成通用。剛剛忘了講第一個叫做通用 harness，第二個叫做 coding harness！就是 coding agent。那為什麼你們會感覺現在龍蝦（OpenClaw）慢慢不流行了？
那是不是大家不用 agent 了？不是！是什麼？是因為你會發現 Claude Code 或是 Codex、龍蝦能做的它都能做。那龍蝦又又不能自由使用的呃 Anthropic 的模型，它現在只能使用 GPT 的模型啊！那或是地端模型。那 Claude Code 反正它功能都有，它也能 RC 啊！它也能接 Telegram 嘛。所以大家慢慢會回到就是我訂閱 Claude Code、我就用嘛，反正就會一個月花200塊錢我去用吧！哦。
那所以慢慢龍蝦跟 Hermes Agent 慢慢退流行，是因為 coding agent 也慢慢變強了！它也慢慢變成一個通用 agent 了啊。好，當然是這樣子啊！那麼目前我們常常看到的 agent 就是我剛剛分兩派：開源跟閉源。那閉源一般就是一般 AI 公司他們自己推出的 harness 啊！像 Claude Code、Claude Codework（Work）、ChatGPT 和 Codex 都是算是閉源的啊！Antigravity 也是閉源，那 Gemma 也是開源的啊。
Cursor 現在已經被買了！已經變成 xAI 產品了，那我想大多數最多人開始用的是 VS Code + Copilot。它也是一個很棒的啊！那其實我、我、我認識的企業最多的就是用 VS Code，因為他們公司用微軟的東西！他們是放心的啊。因為你想想看，微軟成立了三四十年啊！微軟的雲、雲、微軟的產品 Office、Windows 都很都大家都覺得是一個安全的產品。但是 Anthropic 成立四五年，OpenAI 成立十年！呃是新公司，所以你們會稍微不相信它啊。
但你們會相信微軟，所以我派的人很多很多了啊！那最近還出了我沒用過，但是我不知道好不好用。那其實不太多了？什麼 WorkBuddy 啊！什麼中國有一大堆 harness，我就不多講了啊好。那麼另外就是開源的 harness 啊！那開源 harness 呢？其實這兩個是上半年最紅的 harness。好，那其實我都有用過！我在今年3月也寫了台灣第一本龍蝦的書啊。
那時候、那本書賣得非常非常好！就是我記得那時候我是3月初上市，我就一開始預購啊。我記得預購的第一天！3月1號它就衝到天瓏排行榜第一名還在預購啊。那當時台灣瘋龍蝦！就是每個連、就是連不是這個行業的人都會問我：「龍蝦是什麼？能不能裝啊？」甚至就是連我這長輩啊！六七十歲都跑來問我說：「這怎麼裝？龍蝦很誇張啊好！」那麼後來既然、後來就是 Hermes 啊！Hermes 也目前還算是比較紅的 agent。
那也有很多人用的非常、非常熟哦！OK，那前兩個就是一個就是一個標準通用的 agent。它什麼都能做、它也能寫展示（註：應為程式/代碼）、它也能做電腦控制啊！后三個 OpenCodeInterpreter（拍？註：應為 PiAgent）、OpenClaw。整個 open 啊！就是我最近在用的 OpenCodeInterpreter（註：可能指其他工具，原文語意稍亂）比較沒有用。那我最近很多東西在用呃、拍 PiAgent 的！那呢？它是一個非常、非常小的 agent。
它只有它是這、它是極簡化！它只給你四個工具，它沒有 MCP。它有 Agent Skill，它沒有什麼 Sub-agent 都沒有！那、沒有並表示不能用？它都用 extension 的方式把它裝起來啊好。那我不知道大家會不會習慣用這種完全沒、沒幫你準備東西的 agent？但等一下我我會示範！我會示範拍（PiAgent）整個會有。那我買、我買 PiAgent 是另外一個方向！就是他把什麼東西就裝起來，你一開始就能用啊好。
那 PiAgent 我非常喜歡！為什麼？因為像剛才這兩個這個圖啊、這個圖。我用 PiAgent 呢？我對於這個圖就會變得非常了解！因為它讓我知道每一步我要自己怎麼架設起來啊。我就會很了解一個 agent 到底是怎麼架起來？它需要哪些元件啊！那我覺得懂得很多，所以我在用的時候呢就比較得心應手啊。那 Claude Code 用起來就很棒，但是就是它在幹什麼你都不知道了啊 OK！
好那最後呢？我們要講的東西就是嗯、關閉存取啊。關閉存取就是我剛剛講過！我們把模型放進安全的地方之後呢？那我們的 harness 是不是也應該放進安全的地方啊好！那我們一般使用 harness 的第一站就是你的本機、你的電腦啊。那就是我們用 Claude Code 的本機！就是你的爆炸半徑，就是說當你的 Claude Code 炸了之後？你的整台電腦就炸掉了啊。
我記得大概幾個月前我跟保哥還讀過一件事情！就是能不能讓你的 Claude Code 寫出一行把 C 槽 wipe（刪除）掉？我是說不行，保哥說可以啊！結果我就真的寫一個程式（我當然是用虛擬機來啊），果然我的 C 槽就被刪掉了！就被刪掉啊，是可以的、不是不行啊。各位可以去找我那篇 Facebook 啊！是可以的啊保哥那時候說可以，我說不行。就保哥贏了啊、保哥贏了！好，我們繼續啊 ok。
那麼第二個、第二個就是：如果你說你放在你的電腦中你就炸了哦！那你電腦一炸，整台電腦就沒了、很恐怖啊好。所以呢我們希望把我們的 harness 放進一個安全的地方執行啊！放進去啊 ok。那現在有很多方法，那放進安全地方呢？最第一個最最最簡單就是限制工作目錄！就是只能在這個目錄中做啊，那你不能離開。但是現在我們也看到模型都很強大！它要繞跑出去啊？非常、非常容易啊。
所以呢這個是不太適合啊！第二個就是什麼？放進 docker，放進 docker 其實就相當安全啊、相當安全啊好！那麼第三個就是什麼？放進 vm 中。那放進 vm 中後、放進 docker 中啊！我講我不講大，我講容器吧。其實你選擇就變得非常、非常多！為什麼？你的容器可以在任何地方，你的 vm 可以在任何地方。它可以在雲端的 instance！這時候你當你這個爆炸半徑一炸的時候呢？跟你本機無關、跟你公司內部資料無關！
它炸在其他地方。如果放在本機的容器中就容器炸？那就沒那、炸就炸掉沒事啊！你也不炸就炸了，重新起一個就好了？沒關係啊好。那麼其實 NV（NVIDIA）呢！它當時就推一個就叫 OpenShell 的東西，它就是一個類似 docker 的引擎。那它把關進到 OpenShell 中就是所謂的 NemoClaw（註：應為 NeMo Guardrails 或相關技術，原文聽譯可能有誤）好。所以我們看到 NemoClaw 就是把 OpenClaw（註：應為 Agent）關進 OpenShell 中了好。
我們等一下就會示範啊、示範！那其實最近呢？大概就這個月吧，那 docker 也推出了 docker sbx（sandbox）叫 sandbox 啊。那它也是可以把你的、你的 harness 關進 docker 容器中！那很好用，非常非常好用啊。所以各位可以自己看怎麼選擇？等一下我會示範啊好！那呢今天呢？因為今天是開放的場子，我沒有時間顯示到12點了。所以呢到時候我就可以示範了！我就不影片示範了，我就實際是、我就實際示範這件事情了好。
那我就先進入我的 DJ（DGX）Spark，我們就示範一下好！那其實我先示範最危險的場景了。那這個場景就是？好，這個場景其實裡面有一個我有一個資料啊！它是假的、假的那個個資（個人資料）。假的個資啊，假的個資。那這個個資啊就充滿了身份證字號、姓名什麼地址電話！然後什麼電子郵件啊 OK。那通常來說我們會希望？那就這這是我的客戶的案例，就是他是、他是某個銀行的稽核專員。
他常常需要去調很多客戶資料！看看這個客戶跟理專有沒有串通啊。所以呢大家在銀分行的他在公公司的資料戶調到各個資料之後呢？他必須把這個所看看到的所有報告包含錄影、錄影的！就是在提款機前面提款的影片？臨櫃提款的影片，他的呃轉賬記錄！他的什麼跟客戶的聊天電話、聊天記錄。他們其實都有記錄啊，然後呢就分析出來！
然後呢告訴呃寫一篇報告說這個人跟理專有沒有串通好。那他在寫報告的時候呢？其實他非常需要做！就是去個資化啊、去個資化。當然去個資化這是一個很大的學問啊！它包含了脫敏、去個資化還原啊。它很多、它很多學問，但是我們這邊其實可以示範！就是我們請 agent 幫我們做去個資化的動作好。我現在就來示範了，我先示範最危險了！其實我這邊先我們先來看一、下？
其實啊，其實其實呢？我看危險的程度啊！那真正其實就是第一個就是我的我的、我的模型在雲端，我的 harness 在本機。本機啊！沒做任何防護的？就這、這 L1最危險啊。第二個是我的模型在雲端，但是我的嗯 harness 放在 sandbox 中！例如說 VM 中或是 Docker 中啊好。這第二個，第三個我的模型在雲端！但這時候呢？
我的例如說我用 Nim（NeMo），我是或是我用嗯 OpenRouter 這樣可以控制的雲端啊模型呢！然後把我的 harness 呢用開源的？那我剛剛講為什麼開源 harness 比較安全？因為它的、它的程式碼都可以看！我們都可以看嘛，看過一遍發現安全就開始用啊好。這是第三？安全呢？第三安全就是我把我的 harness 關進 sandbox 中、關廁所（註：應為沙箱 Sandbox）啊好。
那當然我的模型還是用雲端模型！這就這個地方我還是得上傳的啊好。這是 L4、L5，就是說我的 harness 關進廁所（沙箱）！關進 sandbox，我用私有雲了。這時候我用私有雲的時候呢？嗯，我的資料絕對不會離開我公司管轄的範圍啊！那我的 harness 又在、又在呃關在廁所（沙箱）中啊。所以這個怎麼？怎麼出問題都沒有問題啊！就算東西上傳了也在我公司範圍內。
這個 harness 炸掉也是在、也是在這個 sandbox 中沒關係啊！這是 L5、L6，就是 harness 關進 OpenShell 中。就是所謂的觀測所用（註：應為 NeMo Guardrails）區網模型啊！那其實這應該是 L7、L6是可以上網啊。但是我的我的、我的 sandbox 不能上网啊！但是我的呃模型可以上网啊。那其實你的 harness 不能上網就會有很多問題？例如說你就不能上傳到 GitHub 啊！
你就不能去下載呃，沒關係。我們今天呢就試這幾個？我就測試啊！我先讓各位看看全、最為就是我用我用 B 源（閉源）的 harness，我用雲端的模型！然後我我跳過安全檢查啊好。我們就來試一次啊、試一次啊！那例如說我就我這邊就直接用？大家都知道就就是這個就是把命交給他了啊、把命交給他了啊！
來，我們就來做吧。好，我就這樣想說啊，嗯，我先看幕內容。有一個 Fakedata 檔案，因為我之前做過，他知道我在做什麼啊。我就說幫我做去識別化（De-ID）。我只是示範，因為講過去識別化有很多很多步驟：有脫敏、上傳還有還原。我這邊只做脫敏哈，就讓他做吧。你看這是最危險的 harness 跟雲端的模型，時間不會太短哦，可能會花個十分鐘。他會做很多事情啊好，運用到很多 Agent Skill，例如說他要讀取 Excel，就必須使用 office 的 document skill。他自己會去做啊好，他會寫一個程式來做這件事情。他甚至並不一定知道去個資化的標準是什麼，例如說中文有五個名字嘛，那兩個字跟三個字的就把第二個字變叉叉，四個字的中間兩個字變叉叉。五個字怎麼變叉叉？他自己要知道好，他這邊就找出來方法了啊。
好像現在已經花掉了一塊多了啊。這禮拜休假，所以我的用量很少，我這禮拜就沒有在用了。你看我的 5小時才用一點點，7天才用8%好 OK。他就說不要更嚴格，直接執行好。那等一下我們就把它打開看一看吧。它做完了哈，那就在這邊吧。那我就把它打開看看嘛哈，我先把它傳過來，因為它放在我的 DGX Spark 上。它放在這個目錄下，好把它記下來。上次做了10分鐘啊，這次比較快。直接看吧，他其實跟我預計的是不太一樣了。我希望第二個字變叉叉也沒關係，你再給他改就好。他這做其實算徹底哦，地址都全部拿掉了好。
各位你做這件事情啊，當然這個是我客戶一個小小的請求。結果呢，他當時公司有人就有訂閱，就這樣做。結果3分鐘后，他們資安部電話就來，他說你剛才把一個東西傳上雲端，對不對？裡面充滿了個資，那就被規定要寫報告講，就是被懲罰啊。所以呢，這是不建議的方式啊好。那麼我們來看看建議的方式啊。那我就不要用這個太危險了，太危險好。第二個方式呢，我試一下：我用開源的 harness，用在地端的模型。這次其實已經夠安全了，我就試一次啊好。我現在用的模型是地端模型，我是放在我的 DGX Spark 上的 Qwen 27B啊。
哈，就來試啊。我先確定一下我是不是在 DGX Spark 中？對好。拍，我就先看一下內容。同一個檔案好像我這個有裝 office skill，所以沒有問題啊好。我就說幫我把做去識別化（De-ID），現在開始好。那這時候它就開始了啊，OK。這個是純粹用地端模型，但是呢因為我這邊可以上網，所以跑在一個開源的 harness 中啊。我們可以看一下我的 GPU 在瘋狂的運轉中啊好。因為我的 DGX Spark 放機房，機房就是沒有開冷氣啊，就電風扇吹了啊。所以呢它熱當過好幾次，我就把它的速度限在2100MHz啊。DGX Spark 的上限是3003MHz，但是我發現只要超過2006大概就會熱當啊。
所以我就設在2001，但是你不用擔心。你3003降到2001它不會掉30%，它只掉45%的效能而已，所以不用擔心了啊。那你就看到一個小小的27B模型啊，它就在做去個資化的動作啊好。你看速度也不會很差了啊。當然我這個就不要錢了，像我剛才那個花多少錢啊？幾塊錢吧。那這個就這個就不要錢了，讓它做啊好。我們等它一下嗯啊。他做完了！你看其實做的跟剛才那做的差不多，當然你可以要求他說我希望你怎麼做：名字怎麼做、電話怎麼做、身份證怎麼做。你只要就是他怎麼做了啊好，那這個是相對安全。你看我用地端模型、用開源的 harness 啊，其實已經完全沒有出到我的網路上啊好。
那最後呢？示範一個相對最安全的哈。我呢把這個資料跑在我的沙箱中好。我們就利用 OpenShell 這個東西哦，這是我之前建立的一個沙箱啊，其實它也是用利用 docker 的方式來建立的哦。這個就是它的沙箱好。你當然可以用其他方式的沙箱，但是 OpenShell 是 NV 的沙箱很好用哦。我就一直用到現在啊好，OpenShell然後進入沙箱中。這個沙箱是算非常安全啊。例如說我直接看 Google 啊？不行哦，permission denied啊好。那我 curl github呢？deny啊！所以這個沙箱是上不了網的啊好。
但是我有開放一些權限，例如說 Anthropic 它本身自己的 GitHub 那一段那個 repo 我開放。因為我安裝那個 Agent Skill哈，來我們就來看這在沙箱裡面了。好，我看一下呃：我到他的家目錄，然後呢裡面就有一些如果已經做好一些東西了。我們用 CSV 還是一次啊？CSV，因為 CSV 我就不用叫 Office Skill 了。好我就直接就拍用 PiAgent 好，然後呢模型我還是一樣 Qwen 27B。我先看內容有這個好，我們來看一下有沒有這是它的內容啊。其實在我試過幾千行都對 AI 這都一樣，他就跑一個他會自己寫一個 Python 程式啊好。我就這樣講：來幫我這個檔案做 De-ID去識別化好。
我就是給他多一點資料，就是說：名字如果是字第二個字叉放叉；如果是四個字中間兩個放叉叉；如果是五個字中間三個放叉叉。然後地址只要把巷弄號樓叉叉即可；電子郵件保留之後的網域，開始好。來這時候我的 GPU 開始瘋狂運轉哦！因為這個模型27B我是用 FP8，所以它佔稍微大一點。然後呢我 KV cache 開的稍微大一點啊，所以它就會佔多。但是你看還是佔的有限吶：128G 佔的大概80G而已啊，很夠用啊。他就開始跑吧好。那我思考強度是設 high 哦，他可以設思考強度啊。他會想久一點，thinking token就會多一點了啊好。他就遵照我的指示在做這件事情好繼續跑讓它跑。
那這個就是標準的最安全啊！其實你看我連在這個下降中，我連 GitHub 去 Google 都出不去了。但是它還是能繼續做：這個就是模型在地端 harness 在沙箱中，那連網路都出不去。這是其實都斷網了，但是它還是可以做、還是可以用啊好。那其實我沒有真正實質把網路關掉啊，但是其實它是不需要靠網路的。ok那就看它久一點好。那我這個模型呢我給它開262k的，它的最大也是2260000個 context window 也不能再大但是夠用了啊。那當 context window 跑完之後，它其實就會直接就自己斷掉好等它一下。你現在那一台溫度查得到嗎？查得到啊，55度好。
我我那時候上個月跑的時候都跑到80幾度了，就你要設那個頻率不能超過兩千一啊。對他他兩千六一定熱當了，了解好。我都熱當好幾次才我才知道為什麼？還好這還可以啊，就是要重新把插頭拔掉再拔回去啊對。我也是當好幾次是啊！你就設定一下，很簡單就是你就要 Claude Code 幫你設定了：幫我設定這台機器的設到兩千一，這樣他就幫你設定好嗯。現在正在做啊，他其實你就是說你設定這個頻率速度不會掉太多還好好。這就比較久一點了，但是我覺得這至少可以用啊好等它跑完。那這個其實我之前用 DeepSeek 做，DeepSeek 做的沒有千問好哦！差很多啊。因為 DeepSeek 我這個128G我只能裝 Q2，裝 Q2它其實會有問題啊。
對啊其實我我之前先講就是說：你看我們的在地端模型現在才27B啊。你說 Claude Opus 或是 Faissel 直接可能都5T了，可能都56T了啊。我們27B模型能做到這樣子其實我非常滿意的啊！而且這個幾乎不要錢了，這根本就不要錢了只有電費而已啊對。然後他自己寫的 PiAgent 才開始做啊好，其實這個專我做過好多次了。那因為我們客戶對 De-ID 的要求也都不一樣：有些需要還原有還原的做法，我這邊只有脫敏啊。所以還原我這裡就沒有做，那有時候還要加密啊好。他就是說那你就必須知道：王小明他變成王叉明，你知道他還原會要變成王小明啊 ok。他就開始做啊好。
他做完了！先檢查因為我的 PiAgent 我有規定做完所有東西都要再 review一次。然後他都會再檢查一次，那 PiAgent 寫的考點寫法跟攷就一模一樣啊好。這是一千筆的啊，一千筆好！這是我們對他規定比較多的做法他就會照著做啊。你看27B模型真的很聰明啊，非常非常聰明好！叫這個名字我們把它看一下：內容看一眼就好。沒有就他就照我的做了乖乖照我的做啊，幾乎都全部都去識別化了全部做好了好。那最後呢？示範一個一模一樣的東西。這邊又有應用到 Office 的 Skill，就是它能對 docx做去識別化。而且它是一個正常的文章啊哈：我們先看文章內容，叫做 scam.txt 啊好。
這是一個詐騙機房住在什麼地方、名字身份證字號幾號的自由開放內容，不像 Excel 是有欄位的。那以前我們做這種東西呢要做好多事情：要做 NLP、命名實體辨識（NER），再做去識別化。我記得這種事情在五年前沒有出現的時候呢，就是要用標準 NLP 方式來做：先做 NER（用 BERT），再做什麼什麼再開始啊。那我們現在同樣用 Qwen 27B對這個 docx的內容其實一模一樣啊。我叫他來做去識別化好，我就跟他說現在我先看：列出你目前擁有的 agent。它是應該 office 我記得我有裝喔！哇這個要想那麼久？這是一個就是它還在跑啊，它在 prefill就這麼久了對。
他其實在思考：我記得它有在思考欸？沒有啊，那星天特文剛都還沒出來啊沒出來是對。怎麼那麼久？所以就是 prefill就這麼長，有時候會這樣了對不知道。但他現在他有夠多的 skills：有 office 啊好！這是我裝的啦，因為 PiAgent它需要時候才會裝不需要就不裝。那我當然裝完 PiAgent第一件事就是把所有 Anthropic 的 agent skills全部裝進去了好。來就開始做哈：幫我這個我這樣做好，我就改這個東西叫他開始做。其實我覺得不用跟他講那麼多了哈：叫 De-ID就可以了好請他開始啊！
那他這一次就會呼叫 office skill 啊。這個呼叫 skill，好順便打廣告來各位朋友：如果你想我知道 PiAgent怎麼用？這是我這個月寫的書啊，PiAgent 你要寫一本對！因為 PiAgent實在太好用我就一邊玩一邊寫就把它寫下來啊。好看起來又可以預約下一次直播了開始！它就非常非常好用：很小很小的，而且像樂高積木一樣。原來就是一點點小小的東西你把一樣的東西裝上去就好，其他不要就把它拿走哦！非常非常好用。PiAgent我最近都用 PiAgent好用哦，很快而且 token efficiency真的比其他的好很多啊對。
是啊！就是保哥有定那個 GPT嗎？到底可以去到 GPT模型啊嗯。我是可以串對，這都可以串方便！那就不能串了訂閱了訂閱不能串對。那個就不行就會破產，因為我發現貼很多錢啊：他們說一個月貼七八千美金。嗯他也是健身房理論，就是大部分的人都用不完！3%到5的人才會去用光自己的 token啊。所有搞訂閱的不都是這套邏輯嗎？對呀都這樣子對吧好！但我 GPU好像一直要維持在五六十度啦，可以啦這可接受啊。59了還可接受了跑有點久沒關係他就可接受，因為如果你不去限制就一定熱。
這個跟大家分享一下：DGX跑到60度的時候你手放在機殼上大概是溫溫的感覺。到八九十度的時候是燙的哦！但是那個是內部溫度 GPU 八九十度，你摸那個殼呢就是沒有到八九十度不然就燙傷了嘛。但是那個殼其實你會感覺到蠻熱的這樣然後吹電扇是完全沒有用的對！我要提醒大家一下哦：要豎起來啊。你在旁邊吹電扇是完全沒有用的，你吹不到 GPU 啊！可能對這很熱啊。所以還是要注意那個它會有熱當的問題好。這個就比較久因為還有呼叫 skill稍微久一點，但我試過好多次都一定成功了。而且千問已經比 DeepSeek 好很多：DeepSeek會失敗啊，有些地方名字會漏掉。千問已經完全不會漏啊好！
那其實如果你用 Mac，速度也差不多啊。因為你用 M5的：如果你有32G就可以跑了，那64G、48G跑起來一點問題都沒有啊好。等他一下其實我喜歡 PiAgent，就是可以在這個 TUI上面還有個顯示圖片：比如說你叫他去做網頁截圖會把圖片顯示在這個 TUI裡面。但是要 Mac Windows不行好！我就等他跑一下哇，又一個小時了各位要不要休息一下？不用不用要休息早就去休息了。下一休十點了沒關係啊，那等一下就請保哥開 Slido讓大家就請大家我已經開了哈好。那我就把 Slido打開，有人問說 Apple Silicon會好一些嗎？
完全不會啊！我前幾天上個禮拜我才在我粉絲團有分享：我的那個 Qwen 27B開下去跑哇，整整台筆電都幾乎可以煎蛋了。因為它算是做得很好嘛：MBP這個 M-series Max 嘛，整個機殼就是鍵盤上方那一帶哦超級燙！真的真的是可以做舒肥的啦：舒肥雞蛋、舒肥牛肉應該是可以。就是很嫩的，對你手放上去是會彈開的那種燙哦！這個你如果有 MVP就是潤多一點的話可以玩玩看的，是真的超燙好。就兩個問題嘛哈嗯好好！等他跑完那我先回啊：先回三個問題。就是說複雜表格有 PDF 可以有效的轉向？其實絕對可以啊！因為我用的就是 Anthropic Skill，那跟 PiAgent就是你用 Claude Code 跟 PiAgent用一模一樣的 Skill。
那他們去寫的 Python 幾乎一模一樣，他也是去寫 Python 去做這件事情呢。那就是一定是用什麼 Pandas 啊或用什麼東西啊，或一些呃 any 什麼 Anyduck 就是最近新出的這些東西來做的啊。哦，所以我覺得應該沒問題啊可以試試看哦。那另外就是說 PDF 我自己的經驗是有兩種，一個是呃文字轉過去，那問題都很小；另外一個就是啊，它是呃影像圖片檔轉過去，那問題就很大啊好。
那如果你要處理 PDF 我我會建議你用這個東西啊，用這個嗯，不用這個。這個是他連他連位置都給抓了啊。其實我還再次強調就是中國的東西啊，如果你對中國東西有就是不想用就不要用啊。那但是目前我知道就是很多公家單位都在用，因為這是目前最強的了啊，目前最強的這個是這個可是大陸軟體哦。你確定公家機關會用嗎？嗯，偷用了，就是我朋友在偷用了，但是沒辦法好。
再來就是說開放權重模型，是否可以埋一些惡意提示詞，例如把機密資料傳到某伺服器？就是說，嗯，我剛講過這個問題不會是模型的問題。這個問題絕對會是 harness 的問題，就是模型只會做文字接龍好。那文字接龍的話，然後他就嗯，我我我讓你們看這個東西，我們剛我們剛講這個東西啊。這邊你惡意提示是在這一段，在這邊，在這邊，在這一塊都是 harness 的鍋。
就是說如果 harness 沒有弄好，那他就會他就會呃放上惡意資料，這個 Prompt Injection 就就會去傳他啊好。就是現在呢要破解模型，或者我講破解 agent 的方法有很多種啊。那直接對模型下惡意提示啊，那模型本身在做 RL 跟 SFT 時候呢，他就會注意到你這些行為。那是好的模型，他在做 SFT，他就去回避掉這些有危險的問答；那做 RL 他一定要做 alignment，他當然會回避掉啊好。
所以模型本身就具有這個能力，但是呢還是有辦法繞過去啊。所以呢我們的 agent 就要裝這個東西叫 govern 啊，govern 去保護你的 agent，不要被這種事破壞。那所以我覺得這還是 agent 還是 harness 鍋，你的 harness 沒做好的話呢就會被破解。那你不要說是開放權重模型了，你的像你看呃 4.8，它一出來就被破解就被破解掉了。所以這個就會會就是會破解的，它會避開你的你的；那當然你模型本身如果夠強是可以避掉一些的了啊好。
我繼續回答哈，呃剛出來我有試，但我沒有試很熟啊，因為我現在都在玩拍啊。那他的它的理想跟拍很像，就是一切皆為外掛，一切皆為外掛。它只有四個的工具：read、write、edit 跟 bash。有了 bash 就無敵了嘛，對不對？就無敵了啊好。
問題啊，怎麼調整啊就是好。我我就是我剛跟保哥聊過，就是設定它的時脈啊，怎麼設定？非常簡單啊。在這邊設定，嗯，你要設定你的 DGX Spark 的這樣子啊。就是他是用 systemctl 去設定他的時脈啊，那我我懶得打 systemctl，我直接就就問他了哈。
我現在 DGX Spark 的時脈為最高為多少？他就幫我設定好了，那他的最高是 3003。那我之前設兩千會發現兩千有點慢，而且都四十幾度，我就把它上調到兩千一。那我會慢慢試啊，就有空就把它超頻嘛，就把它慢慢兩千、兩千、兩千慢慢試啊。看到他哪邊盪掉，我就把它壓回去啊。現在你就直接跟他講，那你說你就這樣幫我設兩千五就這樣試，他幫你試好了啊。
好，繼續對，就直接問他就好了嘛，簡單的哈。思考速度加快方式一定是根據你的 Inference Engine 啊。它很多地方，例如說嗯你看 MTP 一定有幫助了啊。那為什麼？因為 MTP 它是一次會丟出多個 token。MTP 有好幾種做法，那它可以做嗯有些做法是它就是用自己本身的模型去判斷它多丟出來的 token 有沒有命中；有些是會下載一個小模型啊，他會偷偷下載一個 2.7 或 2.8G 的模型去判斷這些丟出來東西有沒有命中啊。
那一個叫 DwarfStar，一個叫做 EagleMTP 啊。自己選擇自己試啊。但是你要有一個概念，就是說我們用這種 DJspark 啊 Apple 啊，它的思考速度絕對不會多快啊。要有心理準備了啊好。
兩台 GB10 串起來會比較快嗎？會變快，為什麼？因為它把模型的 layer 放到兩台去。所以呢你同時會讓你的 token 經過，它複製成兩份，經過兩個兩台機器。所以會快啊，會快一點點啊；但是不是快一倍，只是快一點。那四台八台會更快，三台五台不會比較快，它串接很多種啊。那根線好幾千塊啊，所以看你怎麼串了啊。
好，串接兩台 DGX 可以放 128G 沒有問題啊。沒有效能會好一些，好處就是放更大模型快一點點；然後呢你的團隊可以人更多。為什麼？因為我們看看它的平行併發量，就是你模型大一點然後你記憶體多一點。同時大家可以一起進來做很多事情，就併發量變大啊。多人使用一台 GB，可以一個人撐幾個人使用啊。
我跟你講個數字啊，例如說我用 Qwen 27B，嗯我開 8 個平行數就 8 個併發數啊。那他可以到 100 個 token 每秒左右，那你就要想加上思考加上回應的話呢。我覺得一台大概 8 個平行、100 個 token，五個人用應該沒問題了。其實 8 個人用都可以了，就是看你要做什麼。你做 coding 比較慢，像這邊還在寫程式嗎？這邊啊、這邊還在寫程式啊。那它你寫好它已經完成了，他已經完成了啊。
那當然人多就會稍微慢。那就是說你做 agent 啊什麼，或是如果你要抓圖、你要做 Computer Use 都會慢一點點。好，啟動嗎？vLLM 啟動好。呃啟動參數對不對？好啟動參數呢？說句老實話，我都把它寫在 docker 裡面。我也要去找啊我找找看啊，我都寫進 docker 中了啊好。
我找一下哦，其實我有分享啊。2247 這個嗯我忘記了，好沒關係。我只有在貼上 Slido，嗯我沒有忘記了啊。那大概我臉書其實有寫哦，臉書這邊有寫。但這是抓圖啦所以可能就你叫你叫 Claude 幫你轉一下，轉成那個文字啊。
你可以看一下啊就是因為當時我遇到一個問題，就是我的他給我弄錯了。好就在這邊去我臉書看一下就有了啊。繼續 Claude Code 上面顯示花多少錢跑多少，那是一個叫 statusline。然後自己寫怎麼寫好？很簡單喔，你把我的 Claude Code 這個圖啊截下來。
它就是讓你看一下喔 Claude Code 喔我給這個不准，我給你看我做過做過的專案比較准喔。啊這是我做過專案就長這個樣子啊，你如果現在看得到我看得到我的畫面。你把這個圖截下來就把這一塊截下來，然後告訴你啊 Claude 說幫我根據這個圖做成一模一樣的。就這樣打啊幫就是我把它截下來對不對，幫我根據這個圖你要貼上這個圖做出做出一模一樣的 statusline 就好了。
這樣可以了，這個就叫 statusline 功能。就是這個是目錄名稱 git 的狀態啊：如果 git 沒有 push、沒有 commit，這邊一個會有個信號；目前用的模型思考長度輸入輸出 token 大小它的快 KV Cache 快取命中率花了多少錢？用多少時間，每小時剩多少、5 小時剩多少、7 天剩多少。就這樣子啊好，繼續我要 Slido 啊。
反正就我這是我習慣的 statusline 啊，你可以自己去看你要放什麼，有些人放的跟我不一樣。小七頁裡面最多四個人問問題 rack 可以沒有一台就夠了，一台就夠了。公司要加這個模型給破百位啊、破百位工程師如果是寫程式啊，那我我是建議你就直接去加一個 DeepSeek 的 Pro 版。
那那個其實大概就兩台 GB300，就是 200,000 美金應該就夠。看你們做什麼啊，就是如果說你一定要產生好多萬行程式碼嘛可能不夠；但是就你們可以先拿一台 DGX Spark 來試，就說看幾個人夠用。然後照那個速度跟規模再 scale up 上去試試看啊好。
OpenPlus 音樂什麼入門體驗 agent，那你就裝一個呃 ChatGPT Work 就可以了。那 ChatGPT Work 就長這個樣子啊，這我每人都在用啊。這個東西是一個本地端的 agent 你就可以用了啊，就你叫他幫你做事就好了。然後就裝上去登入就可以了就可以做事了，可以寫程式、他可以 computer use 啊。
這個非常非常重要，computer use 可以幫你抓圖啊、幫你操作軟體啊、幫你去做很多很多事情。這是體驗最快的方法，因為你已經有 Plus 了。那他的現在給的那個額度非常非常大方了啊好。
呃 3278、2732、73 跑本地夠了，就幾個人夠了？他的是 27GB 了啊。那所以就夠了啊。有過客戶需要用 local model 是無縫處理的，很多啊很多啊。我就說呃 local model 跟 frontier model 其實還是有差別哦，差別其實不小。但就說還是講那句話啊 agent 的上限不是 model 是 harness 啊。
所以你用到好的 harness 其實你可以解決很多很多的問題啊，但當然就是我一直講現在 LLM 它一直在把 harness 吃掉。我舉一個很簡單的例子來說啊，就是今天我們用 Claude Code。我可以讓各位看一下我的 Claude Code 的 cloud，我剛剛看過啊。就是說我一直有個原則：能用 CPU 解決的事情就不要用 GPU 解決。
為什麼？因為 GPU 是 non-deterministic，就它是一個不確定性的東西。LLM 是機率分布，它丟出來 token 是根據最高機率來排序出來的。所以它是 beam search，是一個 token 的序列找出這個序列的最高機率。現在它是機率模型由 GPU 產生的所以叫做 inferential，是推論出來的；但是 CPU 產生的結果是一定正確的啊。
什麼是 CPU 產生的？例如說你跟你的 agent 說幫我把下面這個某個網頁的 YouTube 下載回來，然後呢把字幕抓出來。這個動作充滿了 CPU，為什麼？因為把 YouTube 下載回來是 yt-dlp 函數就可以做；把字幕抓出來是 ffmpeg，它的指令和函數都完全一樣。這個為什麼要用 LM 來做？
所以呢你的 LM 如果 harness 夠好，你告訴他說我的 agent 好了。看我今天我還寫好了啊，我的手機東西可以用：這些都是 CPU 的指令。那 LM 它本身就產生這些指令，不需要去猜了啊，這一次就搞定 one 下就成功了。所以你的 harness 裝得越好，你的 agent 會越棒啊。
所以我覺得 agent 上限絕對是 harness，不會是 LM。當然當你的 LM 不斷進步之後它其實拆這些指定的格式都不用查了，一次就中啊。所以你把你的工具準備好、harness 準備好啊，我覺得你的 agent 更好用啊。這我就自己觀察了啊好。
我 96、97GB 很夠用啊，兩張那太夠用了。你這加起來 192GB 就可以跑 Q4 的 DeepSeek-Pro 嘍，可以跑這個非常非常夠用哦。同時載入多模型建議用什麼模型做搭配？主力在快速模型多應用情境哦。
那其實呢就是說我覺得啊，因為你不太可能有夠大的 RAM 去載入多模型。那如果你有足夠的 RAM 那 OK 了哦，我自己試過 PiAgent 它是可以用 Sub-agent 去選模型。那當然就是你如果你要再有多模型呢？其實我覺得嗯我做過的是加上一個當時用的那個是沒有 vision 功能，我就載入一個千問的 7B VLM。同時載入我是用 VLM 這個方式把它載入，都可以搭配了，當然要看你 RAM 夠不夠大啊好。
那 LangChain 跟 Fireworks 是做什麼？LangChain 是一個呃如果你想開發一個 Claude Code，就用 LangChain。你就用 LangChain 就可以開發它，入門叫做 DeepAgent。你可以開發一個 Claude Code 再就叫這些東西都非常適合開發一個 LM 來用啊，開發一個 agent 來用。
那但是就是我建議 Pi 啦，我建議 Pi 哦。Pi 它其實可以讓你了解一個 agent 在幹嘛啊好，連線不要錢啊。它就不是賣的它不要錢啊，你就用它的套件就直接開發就好了啊好。那 Fireworks 呢？你是在講 FireworksAI 嘛對不對？Fireworks AI 是一個雲端推論平臺哦。
所以你就是用它的雲端推論平臺，它也可以訓練模型啊。台北有賣它就上網看價錢就好。這個東西我比較少用啊，有沒有開源直接使用？方便修改調整它呢就是 Pi 啊。Pi 就是一個開源可以調整，跟 OpenClaw / Go-Pi、OpenCodeInterpreter 是開源。
可以隨便隨時調整，隨時放你要的東西啊好。那為什麼我那麼建議 Pi 呢？因為它很模組化，它可以隨時放上你要的東西跟你不要的東西就拿掉。它又很小而且很快啊，所以我建議 Pi。那 OpenClaw / Go-Pi 是一個以 Pi 為原型，但是他把他認為大家最常用的東西全部一起放進去讓你一次用個夠好。
所以你如果想試試看嗯很細微調整的就用 Pi；如果你覺得還不夠細微，那你就用剛才前面那個留言的網朋友提到你就用 LangChain 裡面 DeepAgent 自己開發一個 coding the harness。好，那目前就沒問題了，那我我看一看剛才那個東西就寫好了啊。
好你們想看看嗎？想看我就把它抓出來看啊，我就把這個東西它叫做 scam 它是放在沙箱中。放沙箱中啊所以呃我叫他把它轉成純文字好了，我這樣我們就不用把它複製出來了啊。我就這邊讓你直接看他做、看他做得好不好了，那我們就看完之後結束。因為今天也就我本來只準備一個小時，但當然保哥說過這場子會延時啊。
所以就沒關係我們就等他一下，被進來講了兩個小時沒到 12 點沒關係。兩個半的沒事可以好玩，因為就真的不累啊好。我等下等下放歌補償你一下放歌補償我就可以去輕鬆一下了對啊。
我真的是沒有今天很開心啊，因為好我們直接看、我直接看啊對啊他就做完了。他做得非常好啊，做的是非常棒的。他就看啊嗯這邊嘛哈然後這裡、這裡好這裡有沒有？這裡 ok，所以我不知道你們有沒有感覺。就我這個東西在十年前做這個事情啊，如果我十年前我能幫銀行做到這件事情就可以賺很多錢的。但現在就是一個地端模型就完成了，完成了好。
那我們今天的分享就到這邊，請保哥先放下歌讓我舒緩一下然後我們就看。因為 Slido 應該沒問題了啊，好了這個問題來聽說千問比
DeepSeek好對，對沒錯好很多。又小又快又有直覺多模態，它又能長期運行。就是我覺得就是說以DGX Spark來說，他只能跑Q2的在我的DGX Spark上。Q2實在是不行，我剛剛講過Q4是甜蜜點再往下掉。像那時候我為了跑GLM在我的在我的DGX Spark上面，我跑到Q1根本不能用啊。
購書連結就在投影片有吧？好，那沒事就大家想買就買，不想買就沒關係。去天瓏，因為去天瓏的話呢，呃比較便宜，好像是79折。博客來好像比較貴啊，我也就比較便宜啊好。
那就我今天分享到這邊，那就把時間還給保哥，謝謝。好，那我們大家掌聲鼓勵鼓勵，謝謝Josh啊，這個今天非常非常的精彩啊。好，那我們就先到這邊告一段落嘍。