Tesla V100 32G雙卡跑Qwen 3.8 flash next IQ3_S, 393K上下文,雙併發, 80~90 tok/s, peak 120 tok/s, 雙併發KV緩存修復, 同場加映UD-Q4_K_XL對比
-
原本這個外接顯卡鄔是接在一台小電腦跑Qwen 3.8 27B, 不知道為什麼它的pcie link掉到x1, 怎麼也解不了的情況下只好把它裝到另一台電腦來跑Strata, 這電腦原本插3060 12G跑IQ3_XXS, 256K, 現在可以搞大一點了, 同時裝了IQ3_S跟UD-Q4_K_XL, 跑了幾個工作暫時看不出有什麼差異, 先留著IQ3_S, 畢竟快了一點, 過程紀錄一下:
Qwen3.8-Flash-Next 雙模型生產部署、硬體規格與效能總結報告
1. 主機硬體規格與系統架構
硬體組件 規格詳細參數 備註 / 運行設定 處理器 (CPU) AMD Ryzen 9 9950X (16 核心 / 32 執行緒, Zen 5 架構) 最高加速時脈 5.75 GHz，具備完整 AVX-512、AVX-VNNI 指令集 主機板 (Motherboard) ASUS PRIME X870-P WIFI 支援 PCIe 5.0，具備高速擴充通道 系統記憶體 (RAM) 64 GB DDR5 (2 條 32 GB, 運作時脈 4800 MT/s) 系統保留約 20~29 GB 餘量 顯示卡 (GPU) 2 × NVIDIA Tesla V100-SXM2-32GB (合計 64 GB HBM2 顯存) 單卡顯存頻寬高達 900 GB/s，雙卡總顯存頻寬 1.8 TB/s GPU 通道介面 PCIe Gen3 x16（雙卡各佔獨立 x16 通道） 雙卡透過主機板獨立通道與 CPU / DRAM 高速互聯 GPU 功耗與控制 鎖定單卡上限 225W（雙卡總上限 450W，原出廠上限 300W） 透過 nvidia-power-limit.service與 Persistence Mode 開機鎖定，兼顧效能與散熱作業系統 (OS) Ubuntu 24.04.3 LTS (Linux Kernel: 6.17.0-35-generic)x86_64 架構 推論引擎核心 Strata Engine (高吞吐 MoE 專用 C++ 引擎 + SM70 INT8 MMQ 核心) 支援 MTP 4-token 投機解碼、YaRN 擴展、雙併發 Slot 隔離
2. 雙模型規格、參數與資源佔用對照表
目前系統已備妥兩套已完成校驗之生產設定，均原生支援 雙併發（parallel=2） 與 YaRN 393K 超長 Context：
規格維度 版本 A：IQ3_S（當前線上運行中 
）版本 B：UD-Q4_K_XL（已備妥隨時可切換） 量化版本 / 格式 ISTA-DASLab 官方 GSQ-RCO (3.5-bit i-quant) Unsloth 官方 Dynamic Quant (~4-bit) 權重檔案大小 Shard 1 (52 GB) + Shard 2 (27 GB) = 79 GB 4 個 Shards 合計 104 GB 最大上下文長度 (Context) 393,216 tokens (393K) (YaRN 1.5x, 基礎 256K) 393,216 tokens (393K) (YaRN 1.5x, 基礎 256K) 最大併發序列數 (Parallel) 2 序列 (C2 雙併發) 2 序列 (C2 雙併發) 並行分組 (Batch Groups) --batch-groups 1(前綴親和路由，快取不互踢)--batch-groups 1(前綴親和路由，快取不互踢)KV Cache 精度 / 駐留 INT8(每層駐留 32,768 cells，主機約 2.32 GiB)INT8(每層駐留 32,768 cells，主機約 2.32 GiB)VRAM 專家快取佔用 12,288 / 12,288 專家全數常駐 (100% 顯存常駐)<br>佔用顯存 22.14 GiB **8,209 / 12,288 專家顯存常駐 (66.8%)**佔用顯存 24.00 GiB，其餘走 PCIe Host DRAM 專家預算 0 GiB (所有專家均已在顯存內) 18 GiB ( --resident-budget-gib 18鎖定主機 RAM)系統可用 DRAM (MemAvailable) 約 28 ~ 29 GiB 可用（DRAM 負擔極輕） 約 19 ~ 20 GiB 可用（扣除 18G 常駐 Budget） 投機解碼 (MTP) 4 tokens MTP ( --spec 4,--spec-min-p 0.5)4 tokens MTP ( --spec 4,--spec-min-p 0.5)
3. 生成速度 (Generation) 與預填充速度 (Prefill) 實測數據
雙模型速度綜合對照表
效能指標 (Metrics) 版本 A：IQ3_S (當前線上 )版本 B：UD-Q4_K_XL 效能差異與特性分析 冷預填充速度 (Cold Prefill) 2,500 ~ 2,800 tokens/sec 1,500 ~ 1,800 tokens/sec IQ3_S 快約 55% (全專家顯存常駐 + 矩陣量化輕量) 熱預填充速度 (Warm / Cached) 35,000 ~ 50,000+ tokens/sec<br>(6 萬 tokens 僅需 1~2 秒) 28,000 ~ 35,000+ tokens/sec<br>(3 萬 tokens 僅需 1~2 秒) 雙模型均具備近乎瞬間的 KV Cache 讀取能力 解碼速度：短上下文 / 思考 75 ~ 88 tokens/sec (峰值 96.8 tok/s) 55 ~ 68 tokens/sec (峰值 75 tok/s) IQ3_S 解碼體驗極為流暢，超越即時閱讀速度 解碼速度：工具調用 (Tool Call Bash) 82 ~ 88 tokens/sec 50 ~ 66 tokens/sec IQ3_S 在產生長 bash 指令與路徑時顯著更快 解碼速度：超深層連續思考 (16K tokens) 73.1 ~ 73.2 tokens/sec (恆定不衰減) 48 ~ 58 tokens/sec IQ3_S 經 16,384 tokens 滿載輸出驗證，速度直線穩定 解碼速度：長對話 (>20K ~ 70K tokens) 72 ~ 85 tokens/sec 45 ~ 60 tokens/sec 在高達 7 萬 tokens 提示詞下，IQ3_S 仍保持 70+ tok/s 專家快取命中率 (Expert Cache Hit) 99.9% ~ 100.0% (0% PCIe 溢出) 97.4% ~ 99.2% (約 0.1~1.2% 走 PCIe) IQ3_S 零 PCIe 專家傳輸，無頻寬瓶頸
4. 核心架構突破：雙併發快取穿透與未命中修復
4.1
--batch-groups 1前綴親和路由（快取不互踢）- 先前快取遺失病灶：
雙卡環境下預設啟用--batch-groups auto，排程器會將 2 個 slot 拆成不同的流水管線群組。原始碼server.py在流水組下會主動關閉held_prefix前綴匹配，強制採用輪詢分發。導致對話 A 的下一輪被強派給 slot 1，對話 B 被派給 slot 0，雙路並行時互相覆蓋對方的 KV 快取（命中率暴跌為 0%，長文觸發 170 秒冷預填充）。 - 修復方案：
加入"--batch-groups", "1"：- 排程器重新恢復「前綴親和路由（
held_prefix）」。 - 對話 A 永遠固定在 Slot 0，對話 B 永遠固定在 Slot 1。
- DRAM 增加量為 0 MB，快取直接原生鎖定在雙卡 VRAM 與既有預留區，徹底根治跨群組踩踏。
- 排程器重新恢復「前綴親和路由（
4.2 BDONE 等待超時與異步釋放時序競爭修復
在長文本雙併發場景下，針對 C++ 引擎佇列排隊使 Slot 的
BDONE延遲問題：- 將
_bdone_after_eos等待時間由2.0s放寬至20.0s，避免超時誤將快取指標清空。 - 在
pick_slot中加入智慧等待：若背景正在釋放（slot_releasing）的 Slot 持有當前請求的前綴（$\ge 512$ tokens），排程器主動透過條件變數等待其釋放完成（通常僅需 0.1~0.3 秒），絕不強搶閒置 Slot，百分之百保住快取。
4.3 15K / 32K 長文本大海撈針（Needle In A Haystack）
- 測試規模：
14,937 tokens - Prefill 速度：
1,563.7 tok/s，總耗時9.55s - 檢索結果：100% 精準檢出 密碼
STRATA_IQ3S_32K_PASS。
5. 多輪工具調用快取全量未命中 (0 reused) 根因與修復報告
5.1 問題現象
在 Agent (如 Pi Agent / LiteLLM) 連續執行多輪工具調用（例如跑完長
bash指令回傳數千至數萬 tokens）後，下一輪模型讀取時偶發出現：- 快取命中率為
0% (0 reused)。 - 幾萬 tokens（如 84K tokens）全數重新讀取，耗時長達 50~60 秒，完全失去 KV Cache 加速效果。
5.2 三大核心根因 (Root Causes)
- Jinja 模板 Token 不一致 (模板層):
- 位置：
chat_template.jinja - 原因：原本模板使用
reasoning_content|trim。模型原生思考結束時通常帶有換行\n\n</think>。Agent 解析出思考內容並回傳時保留了換行，但模板的|trim強制刪除了尾部換行，並補上\n</think>。這導致回傳的思考區塊在</think>前少了一個換行，造成 精確 1 個 token 的差異。
- 位置：
- C++ 引擎槽位檢查點抹除 (Checkpoint Starvation / C++ 引擎層):
- 位置：
strata/src/program/generate.cppL11038、L12975 - 原因：當請求在同一 slot 復用時，引擎執行了
checks.clear()，卻未將該槽位既有的檢查點 (bs[slot_source].checks) 複製進來。若該輪增量 token 未跨越 16K 門檻，就不會產生新檢查點。下輪一旦因任何 1 個 token 差異導致嚴格前綴比對失敗，C++ 找不到任何歷史檢查點可退回，直接將resume歸零重讀！
- 位置：
- 排程器全有全無比對 (Python 排程層):
- 位置：
strata/serve/server.pyL1838 - 原因：
held_prefix()先前要求prompt[:len(h)] == h完全一致才給分，否則給予 0 分，導致排程器可能將請求分配至沒有歷史快取的槽位。
- 位置：
5.3 完整修復措施
- 模板精確換行適配：
- 修改所有模型包（
iq3_s、unsloth-ud-q4_k_xl、unsloth-ud-iq4_xs）及strata/serve下的chat_template.jinja：{%- set think_close = '</think>\n\n' if reasoning_content.endswith('\n') else '\n</think>\n\n' %} {{- '<|im_start|>' + message.role + '\n<think>\n' + reasoning_content + think_close + content }} - 實測證實前綴匹配率由 91.3% 提升至 100.0% 完美匹配。
- 修改所有模型包（
- C++ 檢查點持續繼承與保留：
- 修改
generate.cpp，在槽位復用時完整繼承歷史ConvCheckpoint，並在槽位錄入時保留所有有效長度的檢查點。 - 重新編譯生成二進位檔部署至
strata/engine/strata。
- 修改
- 排程器最長公共前綴評分：
- 修改
server.py的held_prefix()，計算最長公共前綴長度，只要匹配長度 $\ge 64$ tokens 即賦予槽位優先權，並在發生前綴分歧時印出詳細 token 差異日誌。
- 修改
5.4 實測驗證成果 (含長 Bash 2.8 萬 tokens)
輪次 類型 總 Prompt Tokens 快取重用 Tokens (Cached) 快取命中率 耗時 Round 1 工具調用啟動 (git log) 317 0 (首次) 0% 4.00 秒 Round 2 長 Bash 回傳 (~2.8 萬 tokens) 28,634 420 (Round 1 歷史) 100% 歷史命中 18.69 秒 (全量寫入 KV) Round 3 使用者接續提問 28,651 28,629 99.92% 1.98 秒 
Round 4 次輪短 Bash 回傳 (git status) 28,671 28,646 99.91% 1.87 秒
- 先前快取遺失病灶：
-
-
-
-
-
请问雙路同時生成時各自的速度有多少？
@Chanver-Lao 這部分我沒紀錄,記得每條大概就單流的一半多一點吧, 之後有機會再詳細看看, 先排幾天的品質驗證跟看看上游有沒有更新
-
-
單卡@seabass 測過囉, 我貼一下:
Tesla V100 32GB PCIe 跑 Qwen3.8-Flash-Next IQ3_S
Strata | 200K 上下文 | 视觉：开 | Speculative Decoding：开 | 1 slot
模拟真实多轮对话测试：每轮新增约 10K tokens + 提问，AI 回复保留在历史里，前缀缓存全程命中，一直聊到 183K。
测试数据
已用上下文 解码速度 首字延迟（新增 10K） 预填充速度 10–40K 70–89 t/s 8.5–9.2 秒 1100–1180 t/s 50K 74.5 t/s 9.4 秒 1081 t/s 60–100K 49–57 t/s 10.5–13.7 秒 780–975 t/s 110–150K 49–60 t/s 14–15.6 秒 695–765 t/s 160–183K 48–61 t/s 16.5–17.2 秒 634–662 t/s 结论
- 50K 以内：70–89 t/s，跟 IQ2_XS 差不多快
- 60K 以后：降到约 50–60 t/s，然后一直稳定到 183K，没有继续明显掉速
- 前缀缓存效果：即使 180K 上下文，每轮新增 10K 也只要约 17 秒首字
還有@dardeaw-feng 兄說買了雙卡v100 16G, 應該馬上就有文發表了吧
https://lcz.me/post/24315 -
很好奇UD-Q4_K_XL的表現, 可以考驗一下這一個考題
推理檔次可以使用 medium 或xhighLLM解題 極限測試 Extreme-Exam-v7-A (出題者 : GPT6-Astra-max)
https://lcz.me/post/24313@kos-or 我把手上有空的模型都測了一下:
七輪直接隔離 Pi 解題測試：比較報告（2026-10-21）
摘要
七個正式輪次都已正常交付、凍結並完成獨立報告。提交 residue 均為
385583993536，與參考答案一致。 這是本題的數值比對結果，不等於七份原文都已通過完整嚴格證明驗收，更不能推成模型一般正確率 100%。使用工具為pi agent, 主持人為GPT 6.1 sol- 目前無人工解題介入輪次中，觀測端到端最短：Maya-L，1h58m39.466s。
- Qwen UD-Q4_K_XL 為 2h28m38.344s；其已完成的裁判重跑包含大 N 與真正小 N 枚舉，但仍非窮盡形式化審證。
- 新增 GLM-5.3-Flash-Q4_K_XL／4×V100 32GB：3h09m14.937s，與先前 Maya-L 分開記錄，沒有人工中斷／提示。約 65 分鐘消耗於模型自行設置的逾時，最後自行修正多項式容器未截短問題，大 N 主計算降至 4.9 秒。
- Qwen NVFP4 是人工介入後完成：5h16m27.925s；其中單一額外驗證約四小時，另包含受控交接與使用者執行範圍指令。不可當成完全無干預結果直接併排名。
1. 正式輪次、部署及時間
模型名稱與硬體依使用者提供，未驗證服務端權重、量化檔或硬體身份。表列端到端為首次正式作答開始至最後交付，含推理、工具、錯誤、續答等，不是純 GPU 推理測速。
模型資訊 模型名稱 使用者提供硬體 端到端 Invocation 外部解題介入 Strata IQ3_S Qwen 3.8 flash next 2×Tesla V100 32GB, 64G ram 5h38m35.130s 2 無 Strata UD-Q4_K_XL Qwen 3.8 flash next 2×Tesla V100 32GB, 64G ram 2h28m38.344s 1 無 Qwen3.8-Flash-Next-NVFP4 Qwen 3.8 flash next DGX GB10 x 2 5h16m27.925s 5 有，另列，不作原始排名 GLM-5.3-Int4-Int8Mix GLM 5.3 DGX GB10 x 8 3h39m18.201s 4 無 GLM-5.3-Flash-NVFP4 GLM 5.3 flash DGX GB10 x 4 3h03m55.934s 16 無 Maya-L GLM 5.3 flash 4×Tesla V100 32GB, 128G ram 1h58m39.466s 5 無 GLM-5.3-Flash-Q4_K_XL GLM 5.3 flash 4×Tesla V100 32GB, 128G ram 3h09m14.937s 3 無 Qwen3.8-Flash-Next-NVFP4寫出一個要跑幾十億次的迴圈, 跑完可能超過一天, 被發現後人工把它停止
2. 正確性與驗收深度
共同必要小 N 值為 N=2…8：1、3、6、15、63、195、717，各輪提交記錄均符合。下面明確分開數值、原文證明與裁判重跑範圍：
模型 residue 比對 原稿審核重點／限制 裁判程式重跑範圍 Strata IQ3_S 一致 R/S 組合律及共軛簡化有錯 快速大 N 路徑；小 N 對 small_ref，非重新暴力枚舉 Qwen UD-Q4_K_XL 一致 初審未見同類明顯主幹代數錯誤，但非窮盡審證 大 N ＋實際 N=2…8 枚舉／Burnside，約 3.022 秒 Qwen Flash NVFP4 一致 群關係漏二次取逆、分層集合域錯誤；部分額外驗證未完成 只審既有提交／日誌，且有人工介入 GLM Int4-Int8Mix 一致 奇長 S₁ 固定字的乘積式有錯 未重跑完整套件；模型既有日誌包含多種交叉核對 GLM Flash NVFP4 一致 共軛符號、反射尾端下標有局部錯誤 quick 大 N ＋實際 N=2…8 枚舉，26.211 秒；非 all/thorough 全套 Maya-L 一致 O1 的求和式重複乘 3；程式採用正確閉式 依使用者要求，只審既有提交／日誌，不追加重跑 GLM Flash Q4_K_XL 一致 一般反射相鄰邊索引漏 k'；一般 exact 介面有範圍限制 只審既有提交／日誌，不追加重跑 這不是把局部文字缺陷直接等同於最終計數錯誤；也不是因為 residue 正確，就忽略證明與重現性問題。詳細位置、修正方向、證據限制均列於各模型報告。沒有對任何模型宣告已完成全面形式化證明驗證。
模型自行記錄的 N=9／10、exact/modular、成分級驗證或矩陣交叉核對，不冒稱為裁判新執行。重複讀取同一 log，也不計成多次獨立成功測試。
3. 用量
以下為保存的完成 assistant 訊息 usage 累加。reasoning 是 output 子集，不可再加一次。 input 與 cacheRead 的口徑不同，跨端點不可只比 input 欄位；這也不是實際服務端帳單。
模型 API 請求 input cacheRead output reasoning Strata IQ3_S 75 442,834 9,756,614 178,325 116,613 Qwen UD-Q4_K_XL 137 279,691 21,401,727 222,274 157,414 Qwen Flash NVFP4 † 101 11,685,167 0 155,407 93,754 GLM Int4-Int8Mix 79 12,352,483 0 186,328 125,397 GLM Flash NVFP4 122 22,234,362 0 378,932 286,864 Maya-L 32 221,558 4,733,035 212,131 177,550 GLM Flash Q4_K_XL 25 155,552 2,764,653 147,284 116,563 † 人工介入輪。其 101 個保存請求均有 response_end，完成訊息 usage 已列入，但仍不擴張解讀成完整服務端計費。GLM NVFP4 另有 compaction／無工具請求，因此訊息 usage 亦不保證涵蓋全部服務端用量。
4. 公平性與可下的結論
- 這一次題目上，七輪提交的 residue 全部正確，必要交付完整。
- 在此次無外部解題介入的完整流程中，Maya-L 觀測耗時最短，Qwen UD-Q4_K_XL 次之。
- 工具策略、驗證範圍、實作缺陷與自主除錯，足以主導端到端時間；Qwen 長迴圈與新 GLM 多項式尾巴就是明確例子。
- 新 GLM 沒被裁判提示 bug，最後自行修正並完成；Qwen NVFP4 需單列使用者介入。
-
-
-
@kos-or 我把手上有空的模型都測了一下:
七輪直接隔離 Pi 解題測試：比較報告（2026-10-21）
摘要
七個正式輪次都已正常交付、凍結並完成獨立報告。提交 residue 均為
385583993536，與參考答案一致。 這是本題的數值比對結果，不等於七份原文都已通過完整嚴格證明驗收，更不能推成模型一般正確率 100%。使用工具為pi agent, 主持人為GPT 6.1 sol- 目前無人工解題介入輪次中，觀測端到端最短：Maya-L，1h58m39.466s。
- Qwen UD-Q4_K_XL 為 2h28m38.344s；其已完成的裁判重跑包含大 N 與真正小 N 枚舉，但仍非窮盡形式化審證。
- 新增 GLM-5.3-Flash-Q4_K_XL／4×V100 32GB：3h09m14.937s，與先前 Maya-L 分開記錄，沒有人工中斷／提示。約 65 分鐘消耗於模型自行設置的逾時，最後自行修正多項式容器未截短問題，大 N 主計算降至 4.9 秒。
- Qwen NVFP4 是人工介入後完成：5h16m27.925s；其中單一額外驗證約四小時，另包含受控交接與使用者執行範圍指令。不可當成完全無干預結果直接併排名。
1. 正式輪次、部署及時間
模型名稱與硬體依使用者提供，未驗證服務端權重、量化檔或硬體身份。表列端到端為首次正式作答開始至最後交付，含推理、工具、錯誤、續答等，不是純 GPU 推理測速。
模型資訊 模型名稱 使用者提供硬體 端到端 Invocation 外部解題介入 Strata IQ3_S Qwen 3.8 flash next 2×Tesla V100 32GB, 64G ram 5h38m35.130s 2 無 Strata UD-Q4_K_XL Qwen 3.8 flash next 2×Tesla V100 32GB, 64G ram 2h28m38.344s 1 無 Qwen3.8-Flash-Next-NVFP4 Qwen 3.8 flash next DGX GB10 x 2 5h16m27.925s 5 有，另列，不作原始排名 GLM-5.3-Int4-Int8Mix GLM 5.3 DGX GB10 x 8 3h39m18.201s 4 無 GLM-5.3-Flash-NVFP4 GLM 5.3 flash DGX GB10 x 4 3h03m55.934s 16 無 Maya-L GLM 5.3 flash 4×Tesla V100 32GB, 128G ram 1h58m39.466s 5 無 GLM-5.3-Flash-Q4_K_XL GLM 5.3 flash 4×Tesla V100 32GB, 128G ram 3h09m14.937s 3 無 Qwen3.8-Flash-Next-NVFP4寫出一個要跑幾十億次的迴圈, 跑完可能超過一天, 被發現後人工把它停止
2. 正確性與驗收深度
共同必要小 N 值為 N=2…8：1、3、6、15、63、195、717，各輪提交記錄均符合。下面明確分開數值、原文證明與裁判重跑範圍：
模型 residue 比對 原稿審核重點／限制 裁判程式重跑範圍 Strata IQ3_S 一致 R/S 組合律及共軛簡化有錯 快速大 N 路徑；小 N 對 small_ref，非重新暴力枚舉 Qwen UD-Q4_K_XL 一致 初審未見同類明顯主幹代數錯誤，但非窮盡審證 大 N ＋實際 N=2…8 枚舉／Burnside，約 3.022 秒 Qwen Flash NVFP4 一致 群關係漏二次取逆、分層集合域錯誤；部分額外驗證未完成 只審既有提交／日誌，且有人工介入 GLM Int4-Int8Mix 一致 奇長 S₁ 固定字的乘積式有錯 未重跑完整套件；模型既有日誌包含多種交叉核對 GLM Flash NVFP4 一致 共軛符號、反射尾端下標有局部錯誤 quick 大 N ＋實際 N=2…8 枚舉，26.211 秒；非 all/thorough 全套 Maya-L 一致 O1 的求和式重複乘 3；程式採用正確閉式 依使用者要求，只審既有提交／日誌，不追加重跑 GLM Flash Q4_K_XL 一致 一般反射相鄰邊索引漏 k'；一般 exact 介面有範圍限制 只審既有提交／日誌，不追加重跑 這不是把局部文字缺陷直接等同於最終計數錯誤；也不是因為 residue 正確，就忽略證明與重現性問題。詳細位置、修正方向、證據限制均列於各模型報告。沒有對任何模型宣告已完成全面形式化證明驗證。
模型自行記錄的 N=9／10、exact/modular、成分級驗證或矩陣交叉核對，不冒稱為裁判新執行。重複讀取同一 log，也不計成多次獨立成功測試。
3. 用量
以下為保存的完成 assistant 訊息 usage 累加。reasoning 是 output 子集，不可再加一次。 input 與 cacheRead 的口徑不同，跨端點不可只比 input 欄位；這也不是實際服務端帳單。
模型 API 請求 input cacheRead output reasoning Strata IQ3_S 75 442,834 9,756,614 178,325 116,613 Qwen UD-Q4_K_XL 137 279,691 21,401,727 222,274 157,414 Qwen Flash NVFP4 † 101 11,685,167 0 155,407 93,754 GLM Int4-Int8Mix 79 12,352,483 0 186,328 125,397 GLM Flash NVFP4 122 22,234,362 0 378,932 286,864 Maya-L 32 221,558 4,733,035 212,131 177,550 GLM Flash Q4_K_XL 25 155,552 2,764,653 147,284 116,563 † 人工介入輪。其 101 個保存請求均有 response_end，完成訊息 usage 已列入，但仍不擴張解讀成完整服務端計費。GLM NVFP4 另有 compaction／無工具請求，因此訊息 usage 亦不保證涵蓋全部服務端用量。
4. 公平性與可下的結論
- 這一次題目上，七輪提交的 residue 全部正確，必要交付完整。
- 在此次無外部解題介入的完整流程中，Maya-L 觀測耗時最短，Qwen UD-Q4_K_XL 次之。
- 工具策略、驗證範圍、實作缺陷與自主除錯，足以主導端到端時間；Qwen 長迴圈與新 GLM 多項式尾巴就是明確例子。
- 新 GLM 沒被裁判提示 bug，最後自行修正並完成；Qwen NVFP4 需單列使用者介入。
-
@kos-or 我把手上有空的模型都測了一下:
七輪直接隔離 Pi 解題測試：比較報告（2026-10-21）
摘要
七個正式輪次都已正常交付、凍結並完成獨立報告。提交 residue 均為
385583993536，與參考答案一致。 這是本題的數值比對結果，不等於七份原文都已通過完整嚴格證明驗收，更不能推成模型一般正確率 100%。使用工具為pi agent, 主持人為GPT 6.1 sol- 目前無人工解題介入輪次中，觀測端到端最短：Maya-L，1h58m39.466s。
- Qwen UD-Q4_K_XL 為 2h28m38.344s；其已完成的裁判重跑包含大 N 與真正小 N 枚舉，但仍非窮盡形式化審證。
- 新增 GLM-5.3-Flash-Q4_K_XL／4×V100 32GB：3h09m14.937s，與先前 Maya-L 分開記錄，沒有人工中斷／提示。約 65 分鐘消耗於模型自行設置的逾時，最後自行修正多項式容器未截短問題，大 N 主計算降至 4.9 秒。
- Qwen NVFP4 是人工介入後完成：5h16m27.925s；其中單一額外驗證約四小時，另包含受控交接與使用者執行範圍指令。不可當成完全無干預結果直接併排名。
1. 正式輪次、部署及時間
模型名稱與硬體依使用者提供，未驗證服務端權重、量化檔或硬體身份。表列端到端為首次正式作答開始至最後交付，含推理、工具、錯誤、續答等，不是純 GPU 推理測速。
模型資訊 模型名稱 使用者提供硬體 端到端 Invocation 外部解題介入 Strata IQ3_S Qwen 3.8 flash next 2×Tesla V100 32GB, 64G ram 5h38m35.130s 2 無 Strata UD-Q4_K_XL Qwen 3.8 flash next 2×Tesla V100 32GB, 64G ram 2h28m38.344s 1 無 Qwen3.8-Flash-Next-NVFP4 Qwen 3.8 flash next DGX GB10 x 2 5h16m27.925s 5 有，另列，不作原始排名 GLM-5.3-Int4-Int8Mix GLM 5.3 DGX GB10 x 8 3h39m18.201s 4 無 GLM-5.3-Flash-NVFP4 GLM 5.3 flash DGX GB10 x 4 3h03m55.934s 16 無 Maya-L GLM 5.3 flash 4×Tesla V100 32GB, 128G ram 1h58m39.466s 5 無 GLM-5.3-Flash-Q4_K_XL GLM 5.3 flash 4×Tesla V100 32GB, 128G ram 3h09m14.937s 3 無 Qwen3.8-Flash-Next-NVFP4寫出一個要跑幾十億次的迴圈, 跑完可能超過一天, 被發現後人工把它停止
2. 正確性與驗收深度
共同必要小 N 值為 N=2…8：1、3、6、15、63、195、717，各輪提交記錄均符合。下面明確分開數值、原文證明與裁判重跑範圍：
模型 residue 比對 原稿審核重點／限制 裁判程式重跑範圍 Strata IQ3_S 一致 R/S 組合律及共軛簡化有錯 快速大 N 路徑；小 N 對 small_ref，非重新暴力枚舉 Qwen UD-Q4_K_XL 一致 初審未見同類明顯主幹代數錯誤，但非窮盡審證 大 N ＋實際 N=2…8 枚舉／Burnside，約 3.022 秒 Qwen Flash NVFP4 一致 群關係漏二次取逆、分層集合域錯誤；部分額外驗證未完成 只審既有提交／日誌，且有人工介入 GLM Int4-Int8Mix 一致 奇長 S₁ 固定字的乘積式有錯 未重跑完整套件；模型既有日誌包含多種交叉核對 GLM Flash NVFP4 一致 共軛符號、反射尾端下標有局部錯誤 quick 大 N ＋實際 N=2…8 枚舉，26.211 秒；非 all/thorough 全套 Maya-L 一致 O1 的求和式重複乘 3；程式採用正確閉式 依使用者要求，只審既有提交／日誌，不追加重跑 GLM Flash Q4_K_XL 一致 一般反射相鄰邊索引漏 k'；一般 exact 介面有範圍限制 只審既有提交／日誌，不追加重跑 這不是把局部文字缺陷直接等同於最終計數錯誤；也不是因為 residue 正確，就忽略證明與重現性問題。詳細位置、修正方向、證據限制均列於各模型報告。沒有對任何模型宣告已完成全面形式化證明驗證。
模型自行記錄的 N=9／10、exact/modular、成分級驗證或矩陣交叉核對，不冒稱為裁判新執行。重複讀取同一 log，也不計成多次獨立成功測試。
3. 用量
以下為保存的完成 assistant 訊息 usage 累加。reasoning 是 output 子集，不可再加一次。 input 與 cacheRead 的口徑不同，跨端點不可只比 input 欄位；這也不是實際服務端帳單。
模型 API 請求 input cacheRead output reasoning Strata IQ3_S 75 442,834 9,756,614 178,325 116,613 Qwen UD-Q4_K_XL 137 279,691 21,401,727 222,274 157,414 Qwen Flash NVFP4 † 101 11,685,167 0 155,407 93,754 GLM Int4-Int8Mix 79 12,352,483 0 186,328 125,397 GLM Flash NVFP4 122 22,234,362 0 378,932 286,864 Maya-L 32 221,558 4,733,035 212,131 177,550 GLM Flash Q4_K_XL 25 155,552 2,764,653 147,284 116,563 † 人工介入輪。其 101 個保存請求均有 response_end，完成訊息 usage 已列入，但仍不擴張解讀成完整服務端計費。GLM NVFP4 另有 compaction／無工具請求，因此訊息 usage 亦不保證涵蓋全部服務端用量。
4. 公平性與可下的結論
- 這一次題目上，七輪提交的 residue 全部正確，必要交付完整。
- 在此次無外部解題介入的完整流程中，Maya-L 觀測耗時最短，Qwen UD-Q4_K_XL 次之。
- 工具策略、驗證範圍、實作缺陷與自主除錯，足以主導端到端時間；Qwen 長迴圈與新 GLM 多項式尾巴就是明確例子。
- 新 GLM 沒被裁判提示 bug，最後自行修正並完成；Qwen NVFP4 需單列使用者介入。
模型資訊 模型名稱 使用者提供硬體 端到端 INVOCATION 外部解題介入
Strata IQ3_S Qwen 3.8 flash next 2×Tesla V100 32GB, 64G ram 5h38m35.130s 2 無看來Strata UD-Q4_K_XL 相對於Strata IQ3_S 是具有優勢的
我對於模型在計算 "極限測試 Extreme-Exam-v7-A " 時 產生差異巨大的表現 感到好奇
例如 都是Qwen Flash, 但產出的品質不同昨天我用 Strata v0.1.43 + Swift15-QFN-GSQ-RCO-IQ3_S-測試, 相同的條件下,
Reasoning effort : xhigh , 跑了超過一小時以上, 中途我就關掉了
Reasoning effort : low, 兩次實驗 第一次跑了44分鐘, 第二次跑32分鐘 兩次都能得到正確答案原本以為推理設定越高, LLM表現會越好, 但在這一個複雜的考題 反而是low 表現比較好
-
GLM-5.3-Int4-Int8Mix GLM 5.3 DGX GB10 x 8 3h39m18.201s 4 無
真驚人, 這測試動用這麼多資源 八台 DGX GB10 !! 佩服佩服
-
模型資訊 模型名稱 使用者提供硬體 端到端 INVOCATION 外部解題介入
Strata IQ3_S Qwen 3.8 flash next 2×Tesla V100 32GB, 64G ram 5h38m35.130s 2 無看來Strata UD-Q4_K_XL 相對於Strata IQ3_S 是具有優勢的
我對於模型在計算 "極限測試 Extreme-Exam-v7-A " 時 產生差異巨大的表現 感到好奇
例如 都是Qwen Flash, 但產出的品質不同昨天我用 Strata v0.1.43 + Swift15-QFN-GSQ-RCO-IQ3_S-測試, 相同的條件下,
Reasoning effort : xhigh , 跑了超過一小時以上, 中途我就關掉了
Reasoning effort : low, 兩次實驗 第一次跑了44分鐘, 第二次跑32分鐘 兩次都能得到正確答案原本以為推理設定越高, LLM表現會越好, 但在這一個複雜的考題 反而是low 表現比較好
