我分享過Qwen3.8 Flash Next相關測試在這邊 應該沒幾個人實測數據比我多，論述應該是有說服力的
Halogen Flash Server配置與實測(AI Max+ 395 w Qwen 3.8 Flash Next)
gufo對決Halogen 實測Qwen3.8-Flash-Next (AMD AI Max+395)
Strata v0.1.34版 RX9070 16G Steam遊戲機也來測Flash Next

打破「地端只為隱私」的偽命題 地端模型最大的價值絕對不只是省錢與隱私

社群論及本地部署大模型時，常陷入制式的成本與隱私論調：「地端既貴又慢，模型智商遠遜雲端，若純為資料隱私與省 Token 錢，硬體投入毫無性價比。」

這類論點忽視了系統架構的關鍵要素：時延敏感型（Latency-Critical）應用的物理極限。

資料隱私與計費只是商業取捨，但雲端面對物理網絡傳輸開銷與服務調度排隊，存在無法突破的延遲下限。在邊緣感測控制、自動化 Tool-Calling、高頻反射決策等系統中，延遲是決定功能可用性的核心指標。

同時，當前 AI 生態對「思維鏈（Reasoning / CoT）」存在過度依賴。許多實作無論任務複雜度一律開啟長時間思考，產生大量冗餘推演。對於確定性的程式語法、即時指令與邊緣狀態判定，多餘的思考是無效的資源浪費；若核心知識庫存在盲區或邏輯定義混亂，延長思考時間只會加劇幻覺與死循環。

本篇實測聚焦於「關閉思考」的純粹前向傳播（Zero-Shot Forward Pass），檢視 125B 級別 MoE 地端架構在「物理延遲」與「工程智商」上的真實邊界。

0. 測試環境與架構基底

0.1 參賽選手與推論端點

這測試結果的反差更有說服力，我STRATA直接用Q2權重測試給各位看

0.2 地端軟硬體環境

• 平台：Nobara Linux（Kernel 7.1.4）
• 處理器：Intel Core Ultra 7 265K（20 核，AVX2 路徑）
• 系統記憶體：64GB DDR5-6000 雙通道（實測帶寬 70～75 GB/s）
• 顯示卡：AMD Radeon RX 9070 16GB（gfx1201，RDNA4，56 CU）
• 推論引擎：Strata v0.1.38（內建 TheRock ROCm 7.10 wheels，Serving 於 127.0.0.1:8081）

1. 物理網絡延遲開銷：雲端無法逾越的「光速與排隊稅」

在探討模型運算前，必須先結算連線至雲端服務所需的固定封包往返開銷（RTT）：

[客戶端請求]
     │
     ├── (1) TCP 三方握手 ─────────────── (~30ms)
     ├── (2) TLS 密碼學協商 ───────────── (~45ms)
     └── (3) Gateway 排程 / 批次隊列 ──── (200ms ~ 600ms)
                                                │
                                    [抵達雲端 GPU 核心運算]

起手測試 網絡開銷數據（台灣家用環境發起）

延遲結構解析

1. 固定通訊成本（70～100ms）：TCP 建連與 TLS 協商在未複用連線下為固定成本；即便是 Keep-Alive 連線，受限於物理傳輸距離，跨海 RTT 依然存在。
2. 邊緣排隊與路由成本（200～600ms）：包含雲端負載平衡器、API Gateway 驗證、動態批處理（Dynamic Batching）等待隊列。在 GPU 核心尚未執行 GEMM 運算前，雲端方案已耗費數百毫秒。
3. 地端零網絡耗損：本地端直連僅有純粹的 Prefill 與單 Token Decode 耗時，無通訊協定開銷。

2. 測試一：IoT 連續短請求決策實測（20 題極限反射）

IoT的應用對延遲有極高敏感度，本項測試評估系統作為狀態決策單元時的表現。題目涵蓋雷達測距、胎壓監測、障礙物感知等即時車控與邊緣情境，要求輸出單一決策指令（如 BRAKE、CLEAR、STOP、WARN），未來的世界就是所有的設備都會有API甚至給出MCP Server。

題目與標準答案

20 連打實測匯總

決策層面核心結論

• 雲端方案難以支援硬實時回饋：在車載系統或機械控制中，決策窗口常需壓縮在 500ms 內。雲端方案即使運算時間再短，加上網絡傳輸與 Gateway 開銷後，整體耗時多超過 1 秒。
• 未受控思考的系統風險：DeepSeek Flash 由於內部推演機制無法完全關閉，在 6 題簡單決策中因思考消耗過多預算而回傳空白。此類不可控的延遲抖動與預算耗盡，在自動化控制中具備較高系統風險。

3. 測試二：關閉思考之邏輯與程式測驗（16 題 × 3 輪）

這邊是多測的，別擔心低量化又關思考的智力....這點我很有信心，與上面的延遲題測試不同，本項測試評估模型在關閉或壓低思考模式時的基礎邏輯推導、算術規則與程式碼生成能力。每題重複執行 3 次，共計 48 次測試。

每題附指令「先思考，最後一行只寫 ANSWER: 你的答案」，各家開到最不思考的檔位（luna=none 真關、地端=off 真關、muse=minimal 關不掉、deepseek=不可調）。每題跑 3 次，記正確率與耗時、思考 token。

題目與答案

綜合測試矩陣

為什麼用中位數不用平均：平均會被一兩次特別慢的（雲端排隊、模型突然想很久）拉高。中位數代表「典型體感」，而pr 95 代表「最糟情況」。

分水嶺題型深度對照

1. 第 14 題：演算法編寫（括號配對堆疊驗證 is_balanced(s)）

• 地端：3 次測試全數通過（平均耗時 1342ms）。基礎代碼權重扎實，無需依賴隱藏思考即可產出語法閉環且符合格式限制的程式碼。

• GPT-6-luna：3 次測試全數通過（平均耗時 1873ms）。具備良好的單次無思考代碼生成能力。

• DeepSeek Flash：0 / 3 失敗（全數回傳空白）。模型因強制觸發隱藏思考，在 2048 Token 限制下陷入遞迴推演，未產生任何有效程式碼。

• Muse 1.3：1 / 3 通過。為滿足格式要求，強制將邏輯壓縮為單行輸出，導致語法解析出錯。

2. 第 4、7、8 題：邏輯悖論與約束計數

• GPT-6-luna：在純粹前向推論（Zero-Shot）下展現 1.6 秒的輸出速度，但在第 4 題（說謊者悖論）、第 7 題（進排水方程）、第 8 題（排列組合）各出現一次邏輯誤判（各為 2/3 通過）。這顯示頂尖模型在完全不進行逐步展開時，面對複合約束仍有機率產生幻覺。
• 地端 Flash-Next：達到 48/48 全數通過。但需指出，雖然其隱藏思考 Token 為 0，但模型傾向在回答正文中直接展開推導過程。它是透過產出推導文字完成運算，因而換取了穩定性，連帶使得單次耗時拉長至 5 秒級距，重點是我用這種平價機器就有這樣的正確性根本不需開思考，若提高設備水平，翻個兩倍並不難。

4. 地端推論架構分析：以 RX 9070 運行 125B MoE

地端在本次測試展現的效能，建立在「極端小激活 MoE 架構」與「異質分流引擎」的結合上：

                    ┌──────────────────────────────────────────┐
                    │      Qwen3.8-Flash-Next 125B 總參數量     │
                    │   (48 Layers, 512 Experts, Router K=10)  │
                    └──────────────────────────────────────────┘
                                         │
                 ┌───────────────────────┴───────────────────────┐
                 ▼                                               ▼
     ┌───────────────────────┐                       ┌───────────────────────┐
     │ 顯存熱專家 (~30% 權重) │                       │ 系統冷專家 (~70% 權重)  │
     │ 常駐於 RX 9070 16GB    │                      │ 常駐於 64GB DDR5 RAM   │
     └───────────────────────┘                       └───────────────────────┘
                 │                                               │
                 └───────────────┬───────────────────────────────┘
                                 ▼
                 ┌───────────────────────────────┐
                 │  每 Token 僅激活 6B 運算量     │
                 │  PCIe 4.0 頻寬調配與 CPU 協同  │
                 └───────────────────────────────┘

1. 記憶體階層調度（Fetch-Bound）：

• 16GB VRAM 容納約 30% 最常被路由選中的熱專家（約 7610 個），剩餘 70% 放置於 DDR5 系統記憶體，PLE 查找表置於 NVMe SSD。
• 此類配置在解碼時的吞吐上限直接受限於系統記憶體頻寬

2. 投機解碼（MTP）紅利：

• 在代碼（Coding）與 JSON 等結構化語法場景中，MTP 接受率達 90%～94%，單一專家快取命中後可被多次複用，使 Decode 速度達到 56.9 tps。

結論：以邊緣反應鏈重構系統分工

將大模型引入實體系統時，架構選型應回歸物理特性的分工：

一、 拒絕無意義的思考浪費

讓模型針對語法明確的程式補全、狀態轉換與規則判定進行多輪思維鏈推導，本質上是資源浪費。實測證實，結構良好的大模型在關閉思考模式下，已具備處理標準邏輯與代碼生成的能力。不受約束的思考反而容易導致狀態機卡死或超出輸出預算。

二、 雲端與地端的物理邊界

• 雲端定位於「中樞分析」：處理跨領域宏觀規劃、非即時長文本綜合理解與低頻高難度決策，承擔對延遲不敏感的重型計算。

• 地端定位於「神經反射弧」：

• 零網絡耗損：省去 200～600ms 的傳輸與排隊延遲。

• 確定性響應：無尖峰併發時的排隊抖動，延遲分佈收斂。

• 成本效益：支援高頻狀態輪詢與工具調用，無 API 計費負擔。

地端推論的核心價值在於提供高確定性、零網絡延遲的即時反應鏈。 在消費級硬體上透過 MoE 異質調度榨出 50+ tps 與 500ms 級別的邊緣決策能力，讓 AI 真正具備接入實體控制迴路的工程實用性。