基本概念

Qwen3.8-Flash-Next 是一個 125B 的 MoE（混合專家）模型。可以把它想像成一位超顧問：每處理一個字，都要走一趟「工廠」，廠內有五個工位。GPU 的硬體則分成兩種設備：矩陣專算機（tensor core / matrix core，只認 FP16/BF16/FP8 這幾種格式的整塊矩陣乘）和萬用計算台（CUDA core / wave ALU，什麼都能算，包括解壓縮）。

五個工位

① 專家 FFN——主事件，佔 60-70%

MoE 的本體：模型沒有一個巨大的前饋網路，而是有幾百間專家工作室（code 專精、中文專精、數學專精……）。每個字進來，只點燃其中少數幾間（比如 128 間開 8 間）。每間工作室做的都是標準動作：輸入 × 權重矩陣 A → 激活 → × 權重矩陣 B，兩次大矩陣乘。

關鍵：這 125B 參數絕大多數是這些專家的權重，而且為了塞進顯存都壓縮（量化）成 4/8-bit 存著。壓縮格式矩陣專算機不認，必須先在萬用計算台上解壓回 16-bit 再算——所以整個主事件全走萬用計算台，NVIDIA 的 CUDA core、AMD 的 wave ALU 都一样，tensor core 完全幫不上。

② 密集 16-bit 層——固定小站，佔 10-15%

每個字都必經的「小工位」：router（總機，決定點燃哪些專家）、hyper-connection（層間資訊高速公路的切換）、PLE（位置查表）。它們體積小，所以不壓縮、保留完整 16-bit 精度——這正好是矩陣專算機吃的格式，所以這一站現代 GPU 都丟給 tensor core（NVIDIA）或調優 FP16 kernel（AMD）算。

③ QSA 評分——先看目錄，佔 15-30% 的一部分

模型讀到新的字，要回頭參考前文——但前文可能長達十幾萬字，逐字看太慢。QSA（稀疏注意力）=「先看目錄，再讀相關章節」：把前文切成一段段，快速給每段打個相關分數，只挑分數高的段落進入下一步精讀。這個「打分管」本身是小型矩陣乘：NVIDIA 用 TF32 tensor core（Ampere 起），AMD 在 RDNA4 用 matrix core（WMMA，快 7 倍），其他卡都用萬用計算台硬算。

④ Attention QK/PV + softmax——精讀相關段落，佔 15-30% 其餘

對挑出來的段落做三件事：QK＝拿當前字的「問題」和每段落的「標籤」比對，算出每段多相關；softmax＝把相關分數轉成加權比例（加總=1，像機率分布）——這步是純逐元素運算（max/exp/除），任何矩陣硬體都幫不上；PV＝按比例把各段落的「內容」混合成當前字的記憶摘要。整段用 flash-attention 做法：段落切塊處理、中間結果放暫存器，顯存裡永遠不需要那張巨大的 T×T 比對表。

⑤ KV 讀寫 + 專家串流——物流，不佔算力但佔時間

KV cache＝模型對已讀文字寫的「筆記」（每個字的 K/V 向量），存在顯存裡；專家權重太大裝不下顯存，要從記憶體/SSD 持續搬進搬出（串流）。這些是「搬東西」不是「算東西」，不花 FLOPs，但吃真實時間——decode 速度的瓶頸就是它（每生成一字都要翻一遍筆記、取一遍專家書）。

兩種工作模式

• Prefill（讀題）：整段 prompt 一批處理，大矩陣乘火力全開→比的是算力（所以 tensor core 世代差在這裡顯現）
• Decode（寫答案）：一次一字，每字都要把筆記和權重讀一遍→比的是頻寬（所以同級卡 decode 差距小，VRAM 容量和記憶體頻寬才決定生死）

一句話總結

這個模型的計算大頭（專家 FFN）是壓縮格式的，兩家 GPU 都只能用萬用計算台硬算；tensor core / matrix core 只服務小頭（密集層 + 稀疏注意力評分）。所以同價位的卡，prefill 差距看算力規格，decode 差距看頻寬和 VRAM 容量——規格表上的 tensor core TFLOPS 對這種 MoE 模型，沒有它看起來那麼決定性。

Strata最近爆火，最讓人興奮的是老卡也能跑頂級大模型
但老卡優化的進度怎樣呢?
以下是拆解原代碼比對各運算層對應的運算單元，以及github開源社群提出的PR待合併我標註#

NVIDIA

AMD

看起來接下來github上PR更新的重點
查完了——沒變，兩張表不用更新：

現況（剛查的）

• 最新版還是 v0.1.39（10/04 發布），沒有 v0.1.40
• 關鍵 PR 全部還是 open、未合併：

看來近期更新優化會是在RDNA2與Turing等老卡，尤其是RDNA2會讓prefill翻倍(原本低到可憐)
維持觀察，等 v0.1.40 出來再更新表。