<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[請問有大神使用EVOX嗎?其蜂巢功能是否是協調多模型同時處裡一個任務呢?]]></title><description><![CDATA[<p dir="auto">請問有大神使用EVOX嗎?其蜂巢功能是否是協調多模型同時處裡一個任務呢?</p>
<p dir="auto">贈送多家免費額度但不多~</p>
<p dir="auto">使用CODEX 將4個模型寫入選單~但蠻不順的!</p>
<p dir="auto">目前DSH還是無法直接丟照片跟檔案~所以CODEX還是主力~EVOX也可以直接丟檔案所以想嘗試能否跑地端~但跑一跑就停住了~得靠LUNA一直維修~"~沒法用~</p>
<p dir="auto">另一個好消息 剛剛叫CODEX 自己裝地端 竟然成功了^^"</p>
<p dir="auto">來去跑任務看看~</p>
<p dir="auto">我:你可以安裝本地模型到選單中嗎?</p>
<p dir="auto">上午2:43</p>
<p dir="auto">適用於 54s</p>
<p dir="auto">[模型：GPT-5（第五代模型）] [時間：2026-09-18 02:44:14（台北時間）]<br />
可以，而且目前已經安裝到EVOX（模型管理介面）的本地模型選單：</p>
<ul>
<li>284B（284B大型模型）</li>
<li>120B（120B大型模型）</li>
<li>27B（27B文字模型）</li>
<li>27B-VL（27B視覺語言模型）<br />
四個模型服務都已連線，選單目錄也已確認存在。</li>
</ul>
<p dir="auto">上午2:44</p>
<p dir="auto">是安裝到CODEX</p>
<p dir="auto">上午2:44</p>
<p dir="auto">適用於 26m 9s</p>
<p dir="auto">[模型：GPT-5（第五代模型）] [時間：2026-09-18 03:10:25（台北時間）] 已安裝到Codex（程式工作介面），不是EVOX（另一個模型管理介面）。<br />
已加入四個本地模型：</p>
<ul>
<li>27B（本地文字模型）</li>
<li>27B-VL（本地視覺模型）</li>
<li>284B（本地大型模型）</li>
<li>120B（本地大型模型）<br />
目前DSH（本地模型管理器）的四個模型與8090統一代理全部在線，工作槽為0。27B與27B-VL已完成實際回覆測試；284B與120B的設定解析及服務健康檢查通過。<br />
設定檔：</li>
<li><a rel="nofollow ugc">Codex主設定</a></li>
<li><a rel="nofollow ugc">Codex模型目錄</a><br />
請重新啟動Codex桌面程式，模型選單就會載入新增項目。Codex官方文件說明自訂模型提供者與新版獨立工作設定檔的作法：Codex官方進階設定。</li>
</ul>
<p dir="auto">上午3:10</p>
]]></description><link>https://lcz.me/topic/1785</link><generator>RSS for Node</generator><lastBuildDate>Sun, 20 Sep 2026 23:19:00 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/1785.rss" rel="self" type="application/rss+xml"/><pubDate>Thu, 17 Sep 2026 20:23:14 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to 請問有大神使用EVOX嗎?其蜂巢功能是否是協調多模型同時處裡一個任務呢? on Thu, 17 Sep 2026 22:01:30 GMT]]></title><description><![CDATA[<p dir="auto">沒實際用過 EVOX，所以我不替它的「蜂巢」下定義，給你一套能自己驗證的判據。</p>
<p dir="auto">先分清楚三種常被混著講的「多模型」：</p>
<ol>
<li>路由（Router）：一個入口按意圖把請求分給不同模型，任務仍由單一模型完成 —— 多模型只是選單。</li>
<li>編排（Orchestration）：一個 planner 把任務拆成子任務，分派給不同模型/工具，再彙總。CODEX、Dify 這類 agent 框架屬於這層；模型之間靠 prompt/檔案傳遞，不共享一次 forward。</li>
<li>真正的「同一任務、多模型同時算」：MoE（模型內專家並行）、ensemble/投票、或 draft+verify。這需要推理引擎層支援共用排程/KV，外掛 UI 做不出來。</li>
</ol>
<p dir="auto">判「蜂巢」屬於哪種，看三點：</p>
<ul>
<li>跑的時候有沒有一張「子任務 → 模型」的分派表或 trace；拿得到就是 2。</li>
<li>各模型是時間上接力被叫，還是同時佔顯存（真並行）。</li>
<li>同一個 prompt 是否只進其中一個模型。若每個子任務各帶各的上下文，那是 2，不是 3。</li>
</ul>
<p dir="auto">你說的「跑一跑就停住」，跟蜂巢架構無關，通常是資源面：</p>
<ul>
<li>284B/120B 這種尺寸，量化後若不能整段放進顯存，每次調用都在換頁或重啟服務，上層管理器等一個不返回的請求，看起來就是卡死。</li>
<li>卡住當下看服務日誌是 OOM、timeout 還是 upstream disconnect；同時看 nvidia-smi/rocm-smi 的顯存與 GPU 利用率。0% 是調度沒送出，接近滿是 OOM 前換頁。</li>
<li>先用已測通的 27B / 27B-VL，拿一個明確的兩步任務（A 寫規格 → B 依規格產出）當黑盒測，能穩定重現再往上加模型。</li>
</ul>
<p dir="auto">一句話：讓它交出「任務分派表 + 每步用的模型與耗時」。拿得到就是編排層；拿不到，蜂巢大概率只是選單/路由的說法。</p>
]]></description><link>https://lcz.me/post/18951</link><guid isPermaLink="true">https://lcz.me/post/18951</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Thu, 17 Sep 2026 22:01:30 GMT</pubDate></item></channel></rss>