Tesla V100 32G雙卡跑Qwen 3.8 flash next IQ3_S, 393K上下文,雙併發, 80~90 tok/s, peak 120 tok/s, 雙併發KV緩存修復, 同場加映UD-Q4_K_XL對比
-
请问雙路同時生成時各自的速度有多少？
@Chanver-Lao 這部分我沒紀錄,記得每條大概就單流的一半多一點吧, 之後有機會再詳細看看, 先排幾天的品質驗證跟看看上游有沒有更新
-
-
單卡@seabass 測過囉, 我貼一下:
Tesla V100 32GB PCIe 跑 Qwen3.8-Flash-Next IQ3_S
Strata | 200K 上下文 | 视觉：开 | Speculative Decoding：开 | 1 slot
模拟真实多轮对话测试：每轮新增约 10K tokens + 提问，AI 回复保留在历史里，前缀缓存全程命中，一直聊到 183K。
测试数据
已用上下文 解码速度 首字延迟（新增 10K） 预填充速度 10–40K 70–89 t/s 8.5–9.2 秒 1100–1180 t/s 50K 74.5 t/s 9.4 秒 1081 t/s 60–100K 49–57 t/s 10.5–13.7 秒 780–975 t/s 110–150K 49–60 t/s 14–15.6 秒 695–765 t/s 160–183K 48–61 t/s 16.5–17.2 秒 634–662 t/s 结论
- 50K 以内：70–89 t/s，跟 IQ2_XS 差不多快
- 60K 以后：降到约 50–60 t/s，然后一直稳定到 183K，没有继续明显掉速
- 前缀缓存效果：即使 180K 上下文，每轮新增 10K 也只要约 17 秒首字
還有@dardeaw-feng 兄說買了雙卡v100 16G, 應該馬上就有文發表了吧
https://lcz.me/post/24315 -
很好奇UD-Q4_K_XL的表現, 可以考驗一下這一個考題
推理檔次可以使用 medium 或xhighLLM解題 極限測試 Extreme-Exam-v7-A (出題者 : GPT6-Astra-max)
https://lcz.me/post/24313@kos-or 我把手上有空的模型都測了一下:
七輪直接隔離 Pi 解題測試：比較報告（2026-10-21）
摘要
七個正式輪次都已正常交付、凍結並完成獨立報告。提交 residue 均為
385583993536，與參考答案一致。 這是本題的數值比對結果，不等於七份原文都已通過完整嚴格證明驗收，更不能推成模型一般正確率 100%。使用工具為pi agent, 主持人為GPT 6.1 sol- 目前無人工解題介入輪次中，觀測端到端最短：Maya-L，1h58m39.466s。
- Qwen UD-Q4_K_XL 為 2h28m38.344s；其已完成的裁判重跑包含大 N 與真正小 N 枚舉，但仍非窮盡形式化審證。
- 新增 GLM-5.3-Flash-Q4_K_XL／4×V100 32GB：3h09m14.937s，與先前 Maya-L 分開記錄，沒有人工中斷／提示。約 65 分鐘消耗於模型自行設置的逾時，最後自行修正多項式容器未截短問題，大 N 主計算降至 4.9 秒。
- Qwen NVFP4 是人工介入後完成：5h16m27.925s；其中單一額外驗證約四小時，另包含受控交接與使用者執行範圍指令。不可當成完全無干預結果直接併排名。
1. 正式輪次、部署及時間
模型名稱與硬體依使用者提供，未驗證服務端權重、量化檔或硬體身份。表列端到端為首次正式作答開始至最後交付，含推理、工具、錯誤、續答等，不是純 GPU 推理測速。
模型資訊 模型名稱 使用者提供硬體 端到端 Invocation 外部解題介入 Strata IQ3_S Qwen 3.8 flash next 2×Tesla V100 32GB, 64G ram 5h38m35.130s 2 無 Strata UD-Q4_K_XL Qwen 3.8 flash next 2×Tesla V100 32GB, 64G ram 2h28m38.344s 1 無 Qwen3.8-Flash-Next-NVFP4 Qwen 3.8 flash next DGX GB10 x 2 5h16m27.925s 5 有，另列，不作原始排名 GLM-5.3-Int4-Int8Mix GLM 5.3 DGX GB10 x 8 3h39m18.201s 4 無 GLM-5.3-Flash-NVFP4 GLM 5.3 flash DGX GB10 x 4 3h03m55.934s 16 無 Maya-L GLM 5.3 flash 4×Tesla V100 32GB, 128G ram 1h58m39.466s 5 無 GLM-5.3-Flash-Q4_K_XL GLM 5.3 flash 4×Tesla V100 32GB, 128G ram 3h09m14.937s 3 無 Qwen3.8-Flash-Next-NVFP4寫出一個要跑幾十億次的迴圈, 跑完可能超過一天, 被發現後人工把它停止
2. 正確性與驗收深度
共同必要小 N 值為 N=2…8：1、3、6、15、63、195、717，各輪提交記錄均符合。下面明確分開數值、原文證明與裁判重跑範圍：
模型 residue 比對 原稿審核重點／限制 裁判程式重跑範圍 Strata IQ3_S 一致 R/S 組合律及共軛簡化有錯 快速大 N 路徑；小 N 對 small_ref，非重新暴力枚舉 Qwen UD-Q4_K_XL 一致 初審未見同類明顯主幹代數錯誤，但非窮盡審證 大 N ＋實際 N=2…8 枚舉／Burnside，約 3.022 秒 Qwen Flash NVFP4 一致 群關係漏二次取逆、分層集合域錯誤；部分額外驗證未完成 只審既有提交／日誌，且有人工介入 GLM Int4-Int8Mix 一致 奇長 S₁ 固定字的乘積式有錯 未重跑完整套件；模型既有日誌包含多種交叉核對 GLM Flash NVFP4 一致 共軛符號、反射尾端下標有局部錯誤 quick 大 N ＋實際 N=2…8 枚舉，26.211 秒；非 all/thorough 全套 Maya-L 一致 O1 的求和式重複乘 3；程式採用正確閉式 依使用者要求，只審既有提交／日誌，不追加重跑 GLM Flash Q4_K_XL 一致 一般反射相鄰邊索引漏 k'；一般 exact 介面有範圍限制 只審既有提交／日誌，不追加重跑 這不是把局部文字缺陷直接等同於最終計數錯誤；也不是因為 residue 正確，就忽略證明與重現性問題。詳細位置、修正方向、證據限制均列於各模型報告。沒有對任何模型宣告已完成全面形式化證明驗證。
模型自行記錄的 N=9／10、exact/modular、成分級驗證或矩陣交叉核對，不冒稱為裁判新執行。重複讀取同一 log，也不計成多次獨立成功測試。
3. 用量
以下為保存的完成 assistant 訊息 usage 累加。reasoning 是 output 子集，不可再加一次。 input 與 cacheRead 的口徑不同，跨端點不可只比 input 欄位；這也不是實際服務端帳單。
模型 API 請求 input cacheRead output reasoning Strata IQ3_S 75 442,834 9,756,614 178,325 116,613 Qwen UD-Q4_K_XL 137 279,691 21,401,727 222,274 157,414 Qwen Flash NVFP4 † 101 11,685,167 0 155,407 93,754 GLM Int4-Int8Mix 79 12,352,483 0 186,328 125,397 GLM Flash NVFP4 122 22,234,362 0 378,932 286,864 Maya-L 32 221,558 4,733,035 212,131 177,550 GLM Flash Q4_K_XL 25 155,552 2,764,653 147,284 116,563 † 人工介入輪。其 101 個保存請求均有 response_end，完成訊息 usage 已列入，但仍不擴張解讀成完整服務端計費。GLM NVFP4 另有 compaction／無工具請求，因此訊息 usage 亦不保證涵蓋全部服務端用量。
4. 公平性與可下的結論
- 這一次題目上，七輪提交的 residue 全部正確，必要交付完整。
- 在此次無外部解題介入的完整流程中，Maya-L 觀測耗時最短，Qwen UD-Q4_K_XL 次之。
- 工具策略、驗證範圍、實作缺陷與自主除錯，足以主導端到端時間；Qwen 長迴圈與新 GLM 多項式尾巴就是明確例子。
- 新 GLM 沒被裁判提示 bug，最後自行修正並完成；Qwen NVFP4 需單列使用者介入。
-
-
-
@kos-or 我把手上有空的模型都測了一下:
七輪直接隔離 Pi 解題測試：比較報告（2026-10-21）
摘要
七個正式輪次都已正常交付、凍結並完成獨立報告。提交 residue 均為
385583993536，與參考答案一致。 這是本題的數值比對結果，不等於七份原文都已通過完整嚴格證明驗收，更不能推成模型一般正確率 100%。使用工具為pi agent, 主持人為GPT 6.1 sol- 目前無人工解題介入輪次中，觀測端到端最短：Maya-L，1h58m39.466s。
- Qwen UD-Q4_K_XL 為 2h28m38.344s；其已完成的裁判重跑包含大 N 與真正小 N 枚舉，但仍非窮盡形式化審證。
- 新增 GLM-5.3-Flash-Q4_K_XL／4×V100 32GB：3h09m14.937s，與先前 Maya-L 分開記錄，沒有人工中斷／提示。約 65 分鐘消耗於模型自行設置的逾時，最後自行修正多項式容器未截短問題，大 N 主計算降至 4.9 秒。
- Qwen NVFP4 是人工介入後完成：5h16m27.925s；其中單一額外驗證約四小時，另包含受控交接與使用者執行範圍指令。不可當成完全無干預結果直接併排名。
1. 正式輪次、部署及時間
模型名稱與硬體依使用者提供，未驗證服務端權重、量化檔或硬體身份。表列端到端為首次正式作答開始至最後交付，含推理、工具、錯誤、續答等，不是純 GPU 推理測速。
模型資訊 模型名稱 使用者提供硬體 端到端 Invocation 外部解題介入 Strata IQ3_S Qwen 3.8 flash next 2×Tesla V100 32GB, 64G ram 5h38m35.130s 2 無 Strata UD-Q4_K_XL Qwen 3.8 flash next 2×Tesla V100 32GB, 64G ram 2h28m38.344s 1 無 Qwen3.8-Flash-Next-NVFP4 Qwen 3.8 flash next DGX GB10 x 2 5h16m27.925s 5 有，另列，不作原始排名 GLM-5.3-Int4-Int8Mix GLM 5.3 DGX GB10 x 8 3h39m18.201s 4 無 GLM-5.3-Flash-NVFP4 GLM 5.3 flash DGX GB10 x 4 3h03m55.934s 16 無 Maya-L GLM 5.3 flash 4×Tesla V100 32GB, 128G ram 1h58m39.466s 5 無 GLM-5.3-Flash-Q4_K_XL GLM 5.3 flash 4×Tesla V100 32GB, 128G ram 3h09m14.937s 3 無 Qwen3.8-Flash-Next-NVFP4寫出一個要跑幾十億次的迴圈, 跑完可能超過一天, 被發現後人工把它停止
2. 正確性與驗收深度
共同必要小 N 值為 N=2…8：1、3、6、15、63、195、717，各輪提交記錄均符合。下面明確分開數值、原文證明與裁判重跑範圍：
模型 residue 比對 原稿審核重點／限制 裁判程式重跑範圍 Strata IQ3_S 一致 R/S 組合律及共軛簡化有錯 快速大 N 路徑；小 N 對 small_ref，非重新暴力枚舉 Qwen UD-Q4_K_XL 一致 初審未見同類明顯主幹代數錯誤，但非窮盡審證 大 N ＋實際 N=2…8 枚舉／Burnside，約 3.022 秒 Qwen Flash NVFP4 一致 群關係漏二次取逆、分層集合域錯誤；部分額外驗證未完成 只審既有提交／日誌，且有人工介入 GLM Int4-Int8Mix 一致 奇長 S₁ 固定字的乘積式有錯 未重跑完整套件；模型既有日誌包含多種交叉核對 GLM Flash NVFP4 一致 共軛符號、反射尾端下標有局部錯誤 quick 大 N ＋實際 N=2…8 枚舉，26.211 秒；非 all/thorough 全套 Maya-L 一致 O1 的求和式重複乘 3；程式採用正確閉式 依使用者要求，只審既有提交／日誌，不追加重跑 GLM Flash Q4_K_XL 一致 一般反射相鄰邊索引漏 k'；一般 exact 介面有範圍限制 只審既有提交／日誌，不追加重跑 這不是把局部文字缺陷直接等同於最終計數錯誤；也不是因為 residue 正確，就忽略證明與重現性問題。詳細位置、修正方向、證據限制均列於各模型報告。沒有對任何模型宣告已完成全面形式化證明驗證。
模型自行記錄的 N=9／10、exact/modular、成分級驗證或矩陣交叉核對，不冒稱為裁判新執行。重複讀取同一 log，也不計成多次獨立成功測試。
3. 用量
以下為保存的完成 assistant 訊息 usage 累加。reasoning 是 output 子集，不可再加一次。 input 與 cacheRead 的口徑不同，跨端點不可只比 input 欄位；這也不是實際服務端帳單。
模型 API 請求 input cacheRead output reasoning Strata IQ3_S 75 442,834 9,756,614 178,325 116,613 Qwen UD-Q4_K_XL 137 279,691 21,401,727 222,274 157,414 Qwen Flash NVFP4 † 101 11,685,167 0 155,407 93,754 GLM Int4-Int8Mix 79 12,352,483 0 186,328 125,397 GLM Flash NVFP4 122 22,234,362 0 378,932 286,864 Maya-L 32 221,558 4,733,035 212,131 177,550 GLM Flash Q4_K_XL 25 155,552 2,764,653 147,284 116,563 † 人工介入輪。其 101 個保存請求均有 response_end，完成訊息 usage 已列入，但仍不擴張解讀成完整服務端計費。GLM NVFP4 另有 compaction／無工具請求，因此訊息 usage 亦不保證涵蓋全部服務端用量。
4. 公平性與可下的結論
- 這一次題目上，七輪提交的 residue 全部正確，必要交付完整。
- 在此次無外部解題介入的完整流程中，Maya-L 觀測耗時最短，Qwen UD-Q4_K_XL 次之。
- 工具策略、驗證範圍、實作缺陷與自主除錯，足以主導端到端時間；Qwen 長迴圈與新 GLM 多項式尾巴就是明確例子。
- 新 GLM 沒被裁判提示 bug，最後自行修正並完成；Qwen NVFP4 需單列使用者介入。
-
@kos-or 我把手上有空的模型都測了一下:
七輪直接隔離 Pi 解題測試：比較報告（2026-10-21）
摘要
七個正式輪次都已正常交付、凍結並完成獨立報告。提交 residue 均為
385583993536，與參考答案一致。 這是本題的數值比對結果，不等於七份原文都已通過完整嚴格證明驗收，更不能推成模型一般正確率 100%。使用工具為pi agent, 主持人為GPT 6.1 sol- 目前無人工解題介入輪次中，觀測端到端最短：Maya-L，1h58m39.466s。
- Qwen UD-Q4_K_XL 為 2h28m38.344s；其已完成的裁判重跑包含大 N 與真正小 N 枚舉，但仍非窮盡形式化審證。
- 新增 GLM-5.3-Flash-Q4_K_XL／4×V100 32GB：3h09m14.937s，與先前 Maya-L 分開記錄，沒有人工中斷／提示。約 65 分鐘消耗於模型自行設置的逾時，最後自行修正多項式容器未截短問題，大 N 主計算降至 4.9 秒。
- Qwen NVFP4 是人工介入後完成：5h16m27.925s；其中單一額外驗證約四小時，另包含受控交接與使用者執行範圍指令。不可當成完全無干預結果直接併排名。
1. 正式輪次、部署及時間
模型名稱與硬體依使用者提供，未驗證服務端權重、量化檔或硬體身份。表列端到端為首次正式作答開始至最後交付，含推理、工具、錯誤、續答等，不是純 GPU 推理測速。
模型資訊 模型名稱 使用者提供硬體 端到端 Invocation 外部解題介入 Strata IQ3_S Qwen 3.8 flash next 2×Tesla V100 32GB, 64G ram 5h38m35.130s 2 無 Strata UD-Q4_K_XL Qwen 3.8 flash next 2×Tesla V100 32GB, 64G ram 2h28m38.344s 1 無 Qwen3.8-Flash-Next-NVFP4 Qwen 3.8 flash next DGX GB10 x 2 5h16m27.925s 5 有，另列，不作原始排名 GLM-5.3-Int4-Int8Mix GLM 5.3 DGX GB10 x 8 3h39m18.201s 4 無 GLM-5.3-Flash-NVFP4 GLM 5.3 flash DGX GB10 x 4 3h03m55.934s 16 無 Maya-L GLM 5.3 flash 4×Tesla V100 32GB, 128G ram 1h58m39.466s 5 無 GLM-5.3-Flash-Q4_K_XL GLM 5.3 flash 4×Tesla V100 32GB, 128G ram 3h09m14.937s 3 無 Qwen3.8-Flash-Next-NVFP4寫出一個要跑幾十億次的迴圈, 跑完可能超過一天, 被發現後人工把它停止
2. 正確性與驗收深度
共同必要小 N 值為 N=2…8：1、3、6、15、63、195、717，各輪提交記錄均符合。下面明確分開數值、原文證明與裁判重跑範圍：
模型 residue 比對 原稿審核重點／限制 裁判程式重跑範圍 Strata IQ3_S 一致 R/S 組合律及共軛簡化有錯 快速大 N 路徑；小 N 對 small_ref，非重新暴力枚舉 Qwen UD-Q4_K_XL 一致 初審未見同類明顯主幹代數錯誤，但非窮盡審證 大 N ＋實際 N=2…8 枚舉／Burnside，約 3.022 秒 Qwen Flash NVFP4 一致 群關係漏二次取逆、分層集合域錯誤；部分額外驗證未完成 只審既有提交／日誌，且有人工介入 GLM Int4-Int8Mix 一致 奇長 S₁ 固定字的乘積式有錯 未重跑完整套件；模型既有日誌包含多種交叉核對 GLM Flash NVFP4 一致 共軛符號、反射尾端下標有局部錯誤 quick 大 N ＋實際 N=2…8 枚舉，26.211 秒；非 all/thorough 全套 Maya-L 一致 O1 的求和式重複乘 3；程式採用正確閉式 依使用者要求，只審既有提交／日誌，不追加重跑 GLM Flash Q4_K_XL 一致 一般反射相鄰邊索引漏 k'；一般 exact 介面有範圍限制 只審既有提交／日誌，不追加重跑 這不是把局部文字缺陷直接等同於最終計數錯誤；也不是因為 residue 正確，就忽略證明與重現性問題。詳細位置、修正方向、證據限制均列於各模型報告。沒有對任何模型宣告已完成全面形式化證明驗證。
模型自行記錄的 N=9／10、exact/modular、成分級驗證或矩陣交叉核對，不冒稱為裁判新執行。重複讀取同一 log，也不計成多次獨立成功測試。
3. 用量
以下為保存的完成 assistant 訊息 usage 累加。reasoning 是 output 子集，不可再加一次。 input 與 cacheRead 的口徑不同，跨端點不可只比 input 欄位；這也不是實際服務端帳單。
模型 API 請求 input cacheRead output reasoning Strata IQ3_S 75 442,834 9,756,614 178,325 116,613 Qwen UD-Q4_K_XL 137 279,691 21,401,727 222,274 157,414 Qwen Flash NVFP4 † 101 11,685,167 0 155,407 93,754 GLM Int4-Int8Mix 79 12,352,483 0 186,328 125,397 GLM Flash NVFP4 122 22,234,362 0 378,932 286,864 Maya-L 32 221,558 4,733,035 212,131 177,550 GLM Flash Q4_K_XL 25 155,552 2,764,653 147,284 116,563 † 人工介入輪。其 101 個保存請求均有 response_end，完成訊息 usage 已列入，但仍不擴張解讀成完整服務端計費。GLM NVFP4 另有 compaction／無工具請求，因此訊息 usage 亦不保證涵蓋全部服務端用量。
4. 公平性與可下的結論
- 這一次題目上，七輪提交的 residue 全部正確，必要交付完整。
- 在此次無外部解題介入的完整流程中，Maya-L 觀測耗時最短，Qwen UD-Q4_K_XL 次之。
- 工具策略、驗證範圍、實作缺陷與自主除錯，足以主導端到端時間；Qwen 長迴圈與新 GLM 多項式尾巴就是明確例子。
- 新 GLM 沒被裁判提示 bug，最後自行修正並完成；Qwen NVFP4 需單列使用者介入。
模型資訊 模型名稱 使用者提供硬體 端到端 INVOCATION 外部解題介入
Strata IQ3_S Qwen 3.8 flash next 2×Tesla V100 32GB, 64G ram 5h38m35.130s 2 無看來Strata UD-Q4_K_XL 相對於Strata IQ3_S 是具有優勢的
我對於模型在計算 "極限測試 Extreme-Exam-v7-A " 時 產生差異巨大的表現 感到好奇
例如 都是Qwen Flash, 但產出的品質不同昨天我用 Strata v0.1.43 + Swift15-QFN-GSQ-RCO-IQ3_S-測試, 相同的條件下,
Reasoning effort : xhigh , 跑了超過一小時以上, 中途我就關掉了
Reasoning effort : low, 兩次實驗 第一次跑了44分鐘, 第二次跑32分鐘 兩次都能得到正確答案原本以為推理設定越高, LLM表現會越好, 但在這一個複雜的考題 反而是low 表現比較好
-
GLM-5.3-Int4-Int8Mix GLM 5.3 DGX GB10 x 8 3h39m18.201s 4 無
真驚人, 這測試動用這麼多資源 八台 DGX GB10 !! 佩服佩服
-
模型資訊 模型名稱 使用者提供硬體 端到端 INVOCATION 外部解題介入
Strata IQ3_S Qwen 3.8 flash next 2×Tesla V100 32GB, 64G ram 5h38m35.130s 2 無看來Strata UD-Q4_K_XL 相對於Strata IQ3_S 是具有優勢的
我對於模型在計算 "極限測試 Extreme-Exam-v7-A " 時 產生差異巨大的表現 感到好奇
例如 都是Qwen Flash, 但產出的品質不同昨天我用 Strata v0.1.43 + Swift15-QFN-GSQ-RCO-IQ3_S-測試, 相同的條件下,
Reasoning effort : xhigh , 跑了超過一小時以上, 中途我就關掉了
Reasoning effort : low, 兩次實驗 第一次跑了44分鐘, 第二次跑32分鐘 兩次都能得到正確答案原本以為推理設定越高, LLM表現會越好, 但在這一個複雜的考題 反而是low 表現比較好
