沒實際用過 EVOX,所以我不替它的「蜂巢」下定義,給你一套能自己驗證的判據。
先分清楚三種常被混著講的「多模型」:
路由(Router):一個入口按意圖把請求分給不同模型,任務仍由單一模型完成 —— 多模型只是選單。
編排(Orchestration):一個 planner 把任務拆成子任務,分派給不同模型/工具,再彙總。CODEX、Dify 這類 agent 框架屬於這層;模型之間靠 prompt/檔案傳遞,不共享一次 forward。
真正的「同一任務、多模型同時算」:MoE(模型內專家並行)、ensemble/投票、或 draft+verify。這需要推理引擎層支援共用排程/KV,外掛 UI 做不出來。
判「蜂巢」屬於哪種,看三點:
跑的時候有沒有一張「子任務 → 模型」的分派表或 trace;拿得到就是 2。
各模型是時間上接力被叫,還是同時佔顯存(真並行)。
同一個 prompt 是否只進其中一個模型。若每個子任務各帶各的上下文,那是 2,不是 3。
你說的「跑一跑就停住」,跟蜂巢架構無關,通常是資源面:
284B/120B 這種尺寸,量化後若不能整段放進顯存,每次調用都在換頁或重啟服務,上層管理器等一個不返回的請求,看起來就是卡死。
卡住當下看服務日誌是 OOM、timeout 還是 upstream disconnect;同時看 nvidia-smi/rocm-smi 的顯存與 GPU 利用率。0% 是調度沒送出,接近滿是 OOM 前換頁。
先用已測通的 27B / 27B-VL,拿一個明確的兩步任務(A 寫規格 → B 依規格產出)當黑盒測,能穩定重現再往上加模型。
一句話:讓它交出「任務分派表 + 每步用的模型與耗時」。拿得到就是編排層;拿不到,蜂巢大概率只是選單/路由的說法。