<![CDATA[Tesla V100 32G雙卡跑Qwen 3.8 flash next IQ3_S, 393K上下文,雙併發, 80~90 tok/s, peak 120 tok/s, 雙併發KV緩存修復, 同場加映UD-Q4_K_XL對比]]>原本這個外接顯卡鄔是接在一台小電腦跑Qwen 3.8 27B, 不知道為什麼它的pcie link掉到x1, 怎麼也解不了的情況下只好把它裝到另一台電腦來跑Strata, 這電腦原本插3060 12G跑IQ3_XXS, 256K, 現在可以搞大一點了, 同時裝了IQ3_S跟UD-Q4_K_XL, 跑了幾個工作暫時看不出有什麼差異, 先留著IQ3_S, 畢竟快了一點, 過程紀錄一下:

Qwen3.8-Flash-Next 雙模型生產部署、硬體規格與效能總結報告

1. 主機硬體規格與系統架構

硬體組件 規格詳細參數 備註 / 運行設定
處理器 (CPU) AMD Ryzen 9 9950X (16 核心 / 32 執行緒, Zen 5 架構) 最高加速時脈 5.75 GHz，具備完整 AVX-512、AVX-VNNI 指令集
主機板 (Motherboard) ASUS PRIME X870-P WIFI 支援 PCIe 5.0，具備高速擴充通道
系統記憶體 (RAM) 64 GB DDR5 (2 條 32 GB, 運作時脈 4800 MT/s) 系統保留約 20~29 GB 餘量
顯示卡 (GPU) 2 × NVIDIA Tesla V100-SXM2-32GB (合計 64 GB HBM2 顯存) 單卡顯存頻寬高達 900 GB/s，雙卡總顯存頻寬 1.8 TB/s
GPU 通道介面 PCIe Gen3 x16（雙卡各佔獨立 x16 通道） 雙卡透過主機板獨立通道與 CPU / DRAM 高速互聯
GPU 功耗與控制 鎖定單卡上限 225W（雙卡總上限 450W，原出廠上限 300W） 透過 nvidia-power-limit.service 與 Persistence Mode 開機鎖定，兼顧效能與散熱
作業系統 (OS) Ubuntu 24.04.3 LTS (Linux Kernel: 6.17.0-35-generic) x86_64 架構
推論引擎核心 Strata Engine (高吞吐 MoE 專用 C++ 引擎 + SM70 INT8 MMQ 核心) 支援 MTP 4-token 投機解碼、YaRN 擴展、雙併發 Slot 隔離

2. 雙模型規格、參數與資源佔用對照表

目前系統已備妥兩套已完成校驗之生產設定，均原生支援 雙併發（parallel=2） 與 YaRN 393K 超長 Context：

規格維度 版本 A：IQ3_S（當前線上運行中 ⭐） 版本 B：UD-Q4_K_XL（已備妥隨時可切換）
量化版本 / 格式 ISTA-DASLab 官方 GSQ-RCO (3.5-bit i-quant) Unsloth 官方 Dynamic Quant (~4-bit)
權重檔案大小 Shard 1 (52 GB) + Shard 2 (27 GB) = 79 GB 4 個 Shards 合計 104 GB
最大上下文長度 (Context) 393,216 tokens (393K) (YaRN 1.5x, 基礎 256K) 393,216 tokens (393K) (YaRN 1.5x, 基礎 256K)
最大併發序列數 (Parallel) 2 序列 (C2 雙併發) 2 序列 (C2 雙併發)
並行分組 (Batch Groups) --batch-groups 1 (前綴親和路由，快取不互踢) --batch-groups 1 (前綴親和路由，快取不互踢)
KV Cache 精度 / 駐留 INT8 (每層駐留 32,768 cells，主機約 2.32 GiB) INT8 (每層駐留 32,768 cells，主機約 2.32 GiB)
VRAM 專家快取佔用 12,288 / 12,288 專家全數常駐 (100% 顯存常駐)<br>佔用顯存 22.14 GiB **8,209 / 12,288 專家顯存常駐 (66.8%)**佔用顯存 24.00 GiB，其餘走 PCIe
Host DRAM 專家預算 0 GiB (所有專家均已在顯存內) 18 GiB (--resident-budget-gib 18 鎖定主機 RAM)
系統可用 DRAM (MemAvailable) 約 28 ~ 29 GiB 可用（DRAM 負擔極輕） 約 19 ~ 20 GiB 可用（扣除 18G 常駐 Budget）
投機解碼 (MTP) 4 tokens MTP (--spec 4, --spec-min-p 0.5) 4 tokens MTP (--spec 4, --spec-min-p 0.5)

3. 生成速度 (Generation) 與預填充速度 (Prefill) 實測數據

雙模型速度綜合對照表

效能指標 (Metrics) 版本 A：IQ3_S (當前線上 ⭐) 版本 B：UD-Q4_K_XL 效能差異與特性分析
冷預填充速度 (Cold Prefill) 2,500 ~ 2,800 tokens/sec 1,500 ~ 1,800 tokens/sec IQ3_S 快約 55% (全專家顯存常駐 + 矩陣量化輕量)
熱預填充速度 (Warm / Cached) 35,000 ~ 50,000+ tokens/sec<br>(6 萬 tokens 僅需 1~2 秒) 28,000 ~ 35,000+ tokens/sec<br>(3 萬 tokens 僅需 1~2 秒) 雙模型均具備近乎瞬間的 KV Cache 讀取能力
解碼速度：短上下文 / 思考 75 ~ 88 tokens/sec (峰值 96.8 tok/s) 55 ~ 68 tokens/sec (峰值 75 tok/s) IQ3_S 解碼體驗極為流暢，超越即時閱讀速度
解碼速度：工具調用 (Tool Call Bash) 82 ~ 88 tokens/sec 50 ~ 66 tokens/sec IQ3_S 在產生長 bash 指令與路徑時顯著更快
解碼速度：超深層連續思考 (16K tokens) 73.1 ~ 73.2 tokens/sec (恆定不衰減) 48 ~ 58 tokens/sec IQ3_S 經 16,384 tokens 滿載輸出驗證，速度直線穩定
解碼速度：長對話 (>20K ~ 70K tokens) 72 ~ 85 tokens/sec 45 ~ 60 tokens/sec 在高達 7 萬 tokens 提示詞下，IQ3_S 仍保持 70+ tok/s
專家快取命中率 (Expert Cache Hit) 99.9% ~ 100.0% (0% PCIe 溢出) 97.4% ~ 99.2% (約 0.1~1.2% 走 PCIe) IQ3_S 零 PCIe 專家傳輸，無頻寬瓶頸

4. 核心架構突破：雙併發快取穿透與未命中修復

4.1 --batch-groups 1 前綴親和路由（快取不互踢）

  • 先前快取遺失病灶：
    雙卡環境下預設啟用 --batch-groups auto，排程器會將 2 個 slot 拆成不同的流水管線群組。原始碼 server.py 在流水組下會主動關閉 held_prefix 前綴匹配，強制採用輪詢分發。導致對話 A 的下一輪被強派給 slot 1，對話 B 被派給 slot 0，雙路並行時互相覆蓋對方的 KV 快取（命中率暴跌為 0%，長文觸發 170 秒冷預填充）。
  • 修復方案：
    加入 "--batch-groups", "1"：
    • 排程器重新恢復「前綴親和路由（held_prefix）」。
    • 對話 A 永遠固定在 Slot 0，對話 B 永遠固定在 Slot 1。
    • DRAM 增加量為 0 MB，快取直接原生鎖定在雙卡 VRAM 與既有預留區，徹底根治跨群組踩踏。

4.2 BDONE 等待超時與異步釋放時序競爭修復

在長文本雙併發場景下，針對 C++ 引擎佇列排隊使 Slot 的 BDONE 延遲問題：

  • 將 _bdone_after_eos 等待時間由 2.0s 放寬至 20.0s，避免超時誤將快取指標清空。
  • 在 pick_slot 中加入智慧等待：若背景正在釋放（slot_releasing）的 Slot 持有當前請求的前綴（$\ge 512$ tokens），排程器主動透過條件變數等待其釋放完成（通常僅需 0.1~0.3 秒），絕不強搶閒置 Slot，百分之百保住快取。

4.3 15K / 32K 長文本大海撈針（Needle In A Haystack）

  • 測試規模：14,937 tokens
  • Prefill 速度：1,563.7 tok/s，總耗時 9.55s
  • 檢索結果：100% 精準檢出 密碼 STRATA_IQ3S_32K_PASS。

5. 多輪工具調用快取全量未命中 (0 reused) 根因與修復報告

5.1 問題現象

在 Agent (如 Pi Agent / LiteLLM) 連續執行多輪工具調用（例如跑完長 bash 指令回傳數千至數萬 tokens）後，下一輪模型讀取時偶發出現：

  • 快取命中率為 0% (0 reused)。
  • 幾萬 tokens（如 84K tokens）全數重新讀取，耗時長達 50~60 秒，完全失去 KV Cache 加速效果。

5.2 三大核心根因 (Root Causes)

  1. Jinja 模板 Token 不一致 (模板層):
    • 位置：chat_template.jinja
    • 原因：原本模板使用 reasoning_content|trim。模型原生思考結束時通常帶有換行 \n\n</think>。Agent 解析出思考內容並回傳時保留了換行，但模板的 |trim 強制刪除了尾部換行，並補上 \n</think>。這導致回傳的思考區塊在 </think> 前少了一個換行，造成 精確 1 個 token 的差異。
  2. C++ 引擎槽位檢查點抹除 (Checkpoint Starvation / C++ 引擎層):
    • 位置：strata/src/program/generate.cpp L11038、L12975
    • 原因：當請求在同一 slot 復用時，引擎執行了 checks.clear()，卻未將該槽位既有的檢查點 (bs[slot_source].checks) 複製進來。若該輪增量 token 未跨越 16K 門檻，就不會產生新檢查點。下輪一旦因任何 1 個 token 差異導致嚴格前綴比對失敗，C++ 找不到任何歷史檢查點可退回，直接將 resume 歸零重讀！
  3. 排程器全有全無比對 (Python 排程層):
    • 位置：strata/serve/server.py L1838
    • 原因：held_prefix() 先前要求 prompt[:len(h)] == h 完全一致才給分，否則給予 0 分，導致排程器可能將請求分配至沒有歷史快取的槽位。

5.3 完整修復措施

  1. 模板精確換行適配：
    • 修改所有模型包（iq3_s、unsloth-ud-q4_k_xl、unsloth-ud-iq4_xs）及 strata/serve 下的 chat_template.jinja：
      {%- set think_close = '</think>\n\n' if reasoning_content.endswith('\n') else '\n</think>\n\n' %}
{{- '<|im_start|>' + message.role + '\n<think>\n' + reasoning_content + think_close + content }}
    • 實測證實前綴匹配率由 91.3% 提升至 100.0% 完美匹配。
  2. C++ 檢查點持續繼承與保留：
    • 修改 generate.cpp，在槽位復用時完整繼承歷史 ConvCheckpoint，並在槽位錄入時保留所有有效長度的檢查點。
    • 重新編譯生成二進位檔部署至 strata/engine/strata。
  3. 排程器最長公共前綴評分：
    • 修改 server.py 的 held_prefix()，計算最長公共前綴長度，只要匹配長度 $\ge 64$ tokens 即賦予槽位優先權，並在發生前綴分歧時印出詳細 token 差異日誌。

5.4 實測驗證成果 (含長 Bash 2.8 萬 tokens)

輪次 類型 總 Prompt Tokens 快取重用 Tokens (Cached) 快取命中率 耗時
Round 1 工具調用啟動 (git log) 317 0 (首次) 0% 4.00 秒
Round 2 長 Bash 回傳 (~2.8 萬 tokens) 28,634 420 (Round 1 歷史) 100% 歷史命中 18.69 秒 (全量寫入 KV)
Round 3 使用者接續提問 28,651 28,629 99.92% 1.98 秒 ⚡
Round 4 次輪短 Bash 回傳 (git status) 28,671 28,646 99.91% 1.87 秒 ⚡
]]>https://lcz.me/topic/2460RSS for NodeMon, 26 Oct 2026 19:53:29 GMTTue, 20 Oct 2026 09:54:54 GMT60<![CDATA[Reply to Tesla V100 32G雙卡跑Qwen 3.8 flash next IQ3_S, 393K上下文,雙併發, 80~90 tok/s, peak 120 tok/s, 雙併發KV緩存修復, 同場加映UD-Q4_K_XL對比 on Thu, 22 Oct 2026 05:14:55 GMT]]>@kos-or
Swift15 應該思考回合會少很多才是. xhigh可能是他寫的python跑到停不下來, 我就遇到這個問題, 不把它停掉可能一個python就跑好幾天..

]]>https://lcz.me/post/26692https://lcz.me/post/26692Thu, 22 Oct 2026 05:14:55 GMT<![CDATA[Reply to Tesla V100 32G雙卡跑Qwen 3.8 flash next IQ3_S, 393K上下文,雙併發, 80~90 tok/s, peak 120 tok/s, 雙併發KV緩存修復, 同場加映UD-Q4_K_XL對比 on Thu, 22 Oct 2026 05:12:57 GMT]]>@kos-or 這些都是正在上線跑的,順便測一下

]]>https://lcz.me/post/26691https://lcz.me/post/26691Thu, 22 Oct 2026 05:12:57 GMT<![CDATA[Reply to Tesla V100 32G雙卡跑Qwen 3.8 flash next IQ3_S, 393K上下文,雙併發, 80~90 tok/s, peak 120 tok/s, 雙併發KV緩存修復, 同場加映UD-Q4_K_XL對比 on Thu, 22 Oct 2026 04:23:54 GMT]]>

@soop-ladios said:

模型資訊 模型名稱 使用者提供硬體 端到端 INVOCATION 外部解題介入
Strata IQ3_S Qwen 3.8 flash next 2×Tesla V100 32GB, 64G ram 5h38m35.130s 2 無

看來Strata UD-Q4_K_XL 相對於Strata IQ3_S 是具有優勢的

我對於模型在計算 "極限測試 Extreme-Exam-v7-A " 時 產生差異巨大的表現 感到好奇
例如 都是Qwen Flash, 但產出的品質不同

昨天我用 Strata v0.1.43 + Swift15-QFN-GSQ-RCO-IQ3_S-測試, 相同的條件下,
Reasoning effort : xhigh , 跑了超過一小時以上, 中途我就關掉了
Reasoning effort : low, 兩次實驗 第一次跑了44分鐘, 第二次跑32分鐘 兩次都能得到正確答案

原本以為推理設定越高, LLM表現會越好, 但在這一個複雜的考題 反而是low 表現比較好

]]>https://lcz.me/post/26679https://lcz.me/post/26679Thu, 22 Oct 2026 04:23:54 GMT<![CDATA[Reply to Tesla V100 32G雙卡跑Qwen 3.8 flash next IQ3_S, 393K上下文,雙併發, 80~90 tok/s, peak 120 tok/s, 雙併發KV緩存修復, 同場加映UD-Q4_K_XL對比 on Thu, 22 Oct 2026 04:03:43 GMT]]>

@soop-ladios said:

GLM-5.3-Int4-Int8Mix GLM 5.3 DGX GB10 x 8 3h39m18.201s 4 無

真驚人, 這測試動用這麼多資源 八台 DGX GB10 !! 佩服佩服

]]>https://lcz.me/post/26673https://lcz.me/post/26673Thu, 22 Oct 2026 04:03:43 GMT<![CDATA[Reply to Tesla V100 32G雙卡跑Qwen 3.8 flash next IQ3_S, 393K上下文,雙併發, 80~90 tok/s, peak 120 tok/s, 雙併發KV緩存修復, 同場加映UD-Q4_K_XL對比 on Wed, 21 Oct 2026 18:23:02 GMT]]>@何必問 单卡效果就不错，只要内存容量大，等你发作业。

]]>https://lcz.me/post/26587https://lcz.me/post/26587Wed, 21 Oct 2026 18:23:02 GMT<![CDATA[Reply to Tesla V100 32G雙卡跑Qwen 3.8 flash next IQ3_S, 393K上下文,雙併發, 80~90 tok/s, peak 120 tok/s, 雙併發KV緩存修復, 同場加映UD-Q4_K_XL對比 on Wed, 21 Oct 2026 16:05:52 GMT]]>16g的v100不知會差32g的多少....剛下兩張卡來玩玩

]]>https://lcz.me/post/26571https://lcz.me/post/26571Wed, 21 Oct 2026 16:05:52 GMT<![CDATA[Reply to Tesla V100 32G雙卡跑Qwen 3.8 flash next IQ3_S, 393K上下文,雙併發, 80~90 tok/s, peak 120 tok/s, 雙併發KV緩存修復, 同場加映UD-Q4_K_XL對比 on Wed, 21 Oct 2026 14:34:42 GMT]]>@kos-or 我把手上有空的模型都測了一下:

七輪直接隔離 Pi 解題測試：比較報告（2026-10-21）

摘要

七個正式輪次都已正常交付、凍結並完成獨立報告。提交 residue 均為 385583993536，與參考答案一致。 這是本題的數值比對結果，不等於七份原文都已通過完整嚴格證明驗收，更不能推成模型一般正確率 100%。使用工具為pi agent, 主持人為GPT 6.1 sol

  • 目前無人工解題介入輪次中，觀測端到端最短：Maya-L，1h58m39.466s。
  • Qwen UD-Q4_K_XL 為 2h28m38.344s；其已完成的裁判重跑包含大 N 與真正小 N 枚舉，但仍非窮盡形式化審證。
  • 新增 GLM-5.3-Flash-Q4_K_XL／4×V100 32GB：3h09m14.937s，與先前 Maya-L 分開記錄，沒有人工中斷／提示。約 65 分鐘消耗於模型自行設置的逾時，最後自行修正多項式容器未截短問題，大 N 主計算降至 4.9 秒。
  • Qwen NVFP4 是人工介入後完成：5h16m27.925s；其中單一額外驗證約四小時，另包含受控交接與使用者執行範圍指令。不可當成完全無干預結果直接併排名。

1. 正式輪次、部署及時間

模型名稱與硬體依使用者提供，未驗證服務端權重、量化檔或硬體身份。表列端到端為首次正式作答開始至最後交付，含推理、工具、錯誤、續答等，不是純 GPU 推理測速。

模型資訊 模型名稱 使用者提供硬體 端到端 Invocation 外部解題介入
Strata IQ3_S Qwen 3.8 flash next 2×Tesla V100 32GB, 64G ram 5h38m35.130s 2 無
Strata UD-Q4_K_XL Qwen 3.8 flash next 2×Tesla V100 32GB, 64G ram 2h28m38.344s 1 無
Qwen3.8-Flash-Next-NVFP4 Qwen 3.8 flash next DGX GB10 x 2 5h16m27.925s 5 有，另列，不作原始排名
GLM-5.3-Int4-Int8Mix GLM 5.3 DGX GB10 x 8 3h39m18.201s 4 無
GLM-5.3-Flash-NVFP4 GLM 5.3 flash DGX GB10 x 4 3h03m55.934s 16 無
Maya-L GLM 5.3 flash 4×Tesla V100 32GB, 128G ram 1h58m39.466s 5 無
GLM-5.3-Flash-Q4_K_XL GLM 5.3 flash 4×Tesla V100 32GB, 128G ram 3h09m14.937s 3 無

Qwen3.8-Flash-Next-NVFP4寫出一個要跑幾十億次的迴圈, 跑完可能超過一天, 被發現後人工把它停止

2. 正確性與驗收深度

共同必要小 N 值為 N=2…8：1、3、6、15、63、195、717，各輪提交記錄均符合。下面明確分開數值、原文證明與裁判重跑範圍：

模型 residue 比對 原稿審核重點／限制 裁判程式重跑範圍
Strata IQ3_S 一致 R/S 組合律及共軛簡化有錯 快速大 N 路徑；小 N 對 small_ref，非重新暴力枚舉
Qwen UD-Q4_K_XL 一致 初審未見同類明顯主幹代數錯誤，但非窮盡審證 大 N ＋實際 N=2…8 枚舉／Burnside，約 3.022 秒
Qwen Flash NVFP4 一致 群關係漏二次取逆、分層集合域錯誤；部分額外驗證未完成 只審既有提交／日誌，且有人工介入
GLM Int4-Int8Mix 一致 奇長 S₁ 固定字的乘積式有錯 未重跑完整套件；模型既有日誌包含多種交叉核對
GLM Flash NVFP4 一致 共軛符號、反射尾端下標有局部錯誤 quick 大 N ＋實際 N=2…8 枚舉，26.211 秒；非 all/thorough 全套
Maya-L 一致 O1 的求和式重複乘 3；程式採用正確閉式 依使用者要求，只審既有提交／日誌，不追加重跑
GLM Flash Q4_K_XL 一致 一般反射相鄰邊索引漏 k'；一般 exact 介面有範圍限制 只審既有提交／日誌，不追加重跑

這不是把局部文字缺陷直接等同於最終計數錯誤；也不是因為 residue 正確，就忽略證明與重現性問題。詳細位置、修正方向、證據限制均列於各模型報告。沒有對任何模型宣告已完成全面形式化證明驗證。

模型自行記錄的 N=9／10、exact/modular、成分級驗證或矩陣交叉核對，不冒稱為裁判新執行。重複讀取同一 log，也不計成多次獨立成功測試。

3. 用量

以下為保存的完成 assistant 訊息 usage 累加。reasoning 是 output 子集，不可再加一次。 input 與 cacheRead 的口徑不同，跨端點不可只比 input 欄位；這也不是實際服務端帳單。

模型 API 請求 input cacheRead output reasoning
Strata IQ3_S 75 442,834 9,756,614 178,325 116,613
Qwen UD-Q4_K_XL 137 279,691 21,401,727 222,274 157,414
Qwen Flash NVFP4 † 101 11,685,167 0 155,407 93,754
GLM Int4-Int8Mix 79 12,352,483 0 186,328 125,397
GLM Flash NVFP4 122 22,234,362 0 378,932 286,864
Maya-L 32 221,558 4,733,035 212,131 177,550
GLM Flash Q4_K_XL 25 155,552 2,764,653 147,284 116,563

† 人工介入輪。其 101 個保存請求均有 response_end，完成訊息 usage 已列入，但仍不擴張解讀成完整服務端計費。GLM NVFP4 另有 compaction／無工具請求，因此訊息 usage 亦不保證涵蓋全部服務端用量。

4. 公平性與可下的結論

  • 這一次題目上，七輪提交的 residue 全部正確，必要交付完整。
  • 在此次無外部解題介入的完整流程中，Maya-L 觀測耗時最短，Qwen UD-Q4_K_XL 次之。
  • 工具策略、驗證範圍、實作缺陷與自主除錯，足以主導端到端時間；Qwen 長迴圈與新 GLM 多項式尾巴就是明確例子。
  • 新 GLM 沒被裁判提示 bug，最後自行修正並完成；Qwen NVFP4 需單列使用者介入。
]]>https://lcz.me/post/26539https://lcz.me/post/26539Wed, 21 Oct 2026 14:34:42 GMT<![CDATA[Reply to Tesla V100 32G雙卡跑Qwen 3.8 flash next IQ3_S, 393K上下文,雙併發, 80~90 tok/s, peak 120 tok/s, 雙併發KV緩存修復, 同場加映UD-Q4_K_XL對比 on Wed, 21 Oct 2026 00:51:04 GMT]]>單卡@seabass 測過囉, 我貼一下:

Tesla V100 32GB PCIe 跑 Qwen3.8-Flash-Next IQ3_S

Strata | 200K 上下文 | 视觉：开 | Speculative Decoding：开 | 1 slot

模拟真实多轮对话测试：每轮新增约 10K tokens + 提问，AI 回复保留在历史里，前缀缓存全程命中，一直聊到 183K。

测试数据

已用上下文 解码速度 首字延迟（新增 10K） 预填充速度
10–40K 70–89 t/s 8.5–9.2 秒 1100–1180 t/s
50K 74.5 t/s 9.4 秒 1081 t/s
60–100K 49–57 t/s 10.5–13.7 秒 780–975 t/s
110–150K 49–60 t/s 14–15.6 秒 695–765 t/s
160–183K 48–61 t/s 16.5–17.2 秒 634–662 t/s

结论

  1. 50K 以内：70–89 t/s，跟 IQ2_XS 差不多快
  2. 60K 以后：降到约 50–60 t/s，然后一直稳定到 183K，没有继续明显掉速
  3. 前缀缓存效果：即使 180K 上下文，每轮新增 10K 也只要约 17 秒首字

還有@dardeaw-feng 兄說買了雙卡v100 16G, 應該馬上就有文發表了吧
https://lcz.me/post/24315

]]>https://lcz.me/post/26333https://lcz.me/post/26333Wed, 21 Oct 2026 00:51:04 GMT<![CDATA[Reply to Tesla V100 32G雙卡跑Qwen 3.8 flash next IQ3_S, 393K上下文,雙併發, 80~90 tok/s, peak 120 tok/s, 雙併發KV緩存修復, 同場加映UD-Q4_K_XL對比 on Tue, 20 Oct 2026 23:50:05 GMT]]>你测下单卡啊，对比下双卡，这样也很有意义。

]]>https://lcz.me/post/26325https://lcz.me/post/26325Tue, 20 Oct 2026 23:50:05 GMT<![CDATA[Reply to Tesla V100 32G雙卡跑Qwen 3.8 flash next IQ3_S, 393K上下文,雙併發, 80~90 tok/s, peak 120 tok/s, 雙併發KV緩存修復, 同場加映UD-Q4_K_XL對比 on Tue, 20 Oct 2026 23:47:40 GMT]]>@Chanver-Lao 這部分我沒紀錄,記得每條大概就單流的一半多一點吧, 之後有機會再詳細看看, 先排幾天的品質驗證跟看看上游有沒有更新

]]>https://lcz.me/post/26324https://lcz.me/post/26324Tue, 20 Oct 2026 23:47:40 GMT<![CDATA[Reply to Tesla V100 32G雙卡跑Qwen 3.8 flash next IQ3_S, 393K上下文,雙併發, 80~90 tok/s, peak 120 tok/s, 雙併發KV緩存修復, 同場加映UD-Q4_K_XL對比 on Tue, 20 Oct 2026 21:31:02 GMT]]>请问雙路同時生成時各自的速度有多少？

]]>https://lcz.me/post/26306https://lcz.me/post/26306Tue, 20 Oct 2026 21:31:02 GMT<![CDATA[Reply to Tesla V100 32G雙卡跑Qwen 3.8 flash next IQ3_S, 393K上下文,雙併發, 80~90 tok/s, peak 120 tok/s, 雙併發KV緩存修復, 同場加映UD-Q4_K_XL對比 on Tue, 20 Oct 2026 12:08:19 GMT]]>很好奇UD-Q4_K_XL的表現, 可以考驗一下這一個考題
推理檔次可以使用 medium 或xhigh

LLM解題 極限測試 Extreme-Exam-v7-A (出題者 : GPT6-Astra-max)
https://lcz.me/post/24313

]]>https://lcz.me/post/26239https://lcz.me/post/26239Tue, 20 Oct 2026 12:08:19 GMT<![CDATA[Reply to Tesla V100 32G雙卡跑Qwen 3.8 flash next IQ3_S, 393K上下文,雙併發, 80~90 tok/s, peak 120 tok/s, 雙併發KV緩存修復, 同場加映UD-Q4_K_XL對比 on Tue, 20 Oct 2026 11:29:42 GMT]]>可惜我沒有16G, 應該跟單卡32G差不多吧, 版上有人單卡32G跑IQ3_S的分享了

]]>https://lcz.me/post/26231https://lcz.me/post/26231Tue, 20 Oct 2026 11:29:42 GMT<![CDATA[Reply to Tesla V100 32G雙卡跑Qwen 3.8 flash next IQ3_S, 393K上下文,雙併發, 80~90 tok/s, peak 120 tok/s, 雙併發KV緩存修復, 同場加映UD-Q4_K_XL對比 on Tue, 20 Oct 2026 23:49:40 GMT]]>不错，32G太贵了，四五千，可以测试下双卡16G如何，速度差多少，这个才是性价比之选。

]]>https://lcz.me/post/26224https://lcz.me/post/26224Tue, 20 Oct 2026 23:49:40 GMT