Nvidia 雙卡 RTX5070 Ti 16G - Decode 最高 140 tok/s on Strata v0.1.31 - Swift-Qwen3.8-Flash-Next
-
-
这个速度跟我单卡 3090 的速度几乎是一样的。
3090 價格又要起飛了 漲得真多 ！！
SM count, memory bandwidth 3090 真的比較多目前我也是覺得兩個單卡 性价比更高
-
@kos-or 今天用3090+Strata+QFN IQ3_XXS， 一口气写了60几K代码 (256K上下文) ， decode一开始90多，到后面越来越快，到最后冲到了160多 tok/s ， 我又一次瘫坐在椅子上。
-
decode一开始90多，到后面越来越快，到最后冲到了160多 tok/s
好可怕 為何後面越來越快？
我猜測可能是 熱專家(hot experts)連續使用的關係(!?)Strata 有KV Cache reuse/prefix reuse 這是NInfer 所欠缺的(沒記錯的話)
DSH decode 上到100以上, 都是幾行一起蹦出來的, 不是瀑布式cascading 文字
-
@kos-or 不知道， 就看着速度一点点涨上去， 必须长一点的代码才能涨到这个速度。 我感觉可能 coding对于这个模型来说， 就好像背诵答案一样，不怎么用思考， 越来越熟练。。。
-
我剛剛得到一組雙卡的數字 優化的 MTP7, Prompt 13k :
- 最佳整體 screening candidate：spec 7
- 最低 TTFT：5.0524 s
- 最快 Prefill：3,264.2 tok/s
- 最高 Decode/TG：139.3 tok/s
我再次測看看
- 最佳整體 screening candidate：spec 7
-
我剛剛得到一組雙卡的數字 優化的 MTP7, Prompt 13k :
- 最佳整體 screening candidate：spec 7
- 最低 TTFT：5.0524 s
- 最快 Prefill：3,264.2 tok/s
- 最高 Decode/TG：139.3 tok/s
我再次測看看
- 最佳整體 screening candidate：spec 7
-
-
3000 prefill 3090 可以做到吗？ @johnnybegood 搞一搞
@applejuice 我在用双卡测试， 不过好像卡了一个 双卡 bug, #267 ， 我可能得给Strata提一个 Issue
-
-
以後有需要再安裝，小秘書能滿足目前的需求就夠了
因為大概2~3個月內"可能"又要換模型和引擎了
我們的 RTX 5070 Ti 能用 棒棒的！Strata + QFN 對顯卡非常友善 很耐操 溫度都在55度以下，
兩張卡各別消耗130W而已，因為CPU有幫忙分擔workload，
也可以兩張單卡使用兩個QFN port 8080, 8081 各開一個，都夠用了 -
-
@kos-or
看了你的帖子以后，我也把我的5070Ti试了一下，PP2000左右/TG60-65（比R9700还好），我的机器是7820配双志强6252，12x8G DDR4 ecc，拉满了12通道，5070ti走Pcie3x16。
你的应该是pcie4.0的吧，tg感觉比我的还快点。 -
-
-
@kos-or
是正常使用，混合了中文和代码。你的是pcie4.0x16,而且是线程撕裂者，它貌似是支持avx512的指令集，所以快其实应该是CPU那边比较快，也是有加成的吧！
我这个戴尔7820服务器，ddr4内存12×8=96GB，但是pcie只是3.0×16。就这配置能开到上下文256k还能有2000/60左右的速度其实是性价比挺高的了。我这个戴尔7820服务器，ddr4内存12×8=96GB，但是pcie只是3.0×16。就这配置能开到上下文256k还能有2000/60左右的速度其实是性价比挺高的了。
我這帖子是雙卡 split-layer 數據，單卡我記得是60~95之間
雙卡 PCIe 資料量傳輸平均大約10 GB/s，最高峰值約29 GB/s，PCIe 3.0 x 16 (16 GB/s) 大部分的情況下應該是夠的，可以觀察看看 ;
除非CPU是個限制，但你看我的线程撕裂者3945WX 使用狀況 負載大約60%
你的記憶體是 DDR4 頻率多少的？
我的是 DDR4-2400 ECC x 8 => 八通道 理論值 153 GB/s 記憶體頻寬 -
@kos-or
看了你的帖子以后，我也把我的5070Ti试了一下，PP2000左右/TG60-65（比R9700还好），我的机器是7820配双志强6252，12x8G DDR4 ecc，拉满了12通道，5070ti走Pcie3x16。
你的应该是pcie4.0的吧，tg感觉比我的还快点。 -
以後有需要再安裝，小秘書能滿足目前的需求就夠了
因為大概2~3個月內"可能"又要換模型和引擎了
我們的 RTX 5070 Ti 能用 棒棒的！Strata + QFN 對顯卡非常友善 很耐操 溫度都在55度以下，
兩張卡各別消耗130W而已，因為CPU有幫忙分擔workload，
也可以兩張單卡使用兩個QFN port 8080, 8081 各開一個，都夠用了我來交一下作業，優化後 還是可以用一下，只是比LLAMA.CPP慢一些
因該是我的HERMES+CHAT的限制關係，如果瀏覽器直出，就沒有這個問題
【實測】雙 5070 Ti 16G × Strata v0.1.42 跑 Qwen3.8-Flash-Next IQ3_S：四情境解碼實錄（對齊 #2033 測法）
適配硬體： 雙 NVIDIA RTX 5070 Ti 16GB（32GB VRAM）＋ Windows 10 實體機 ＋ VirtualBox Ubuntu VM（跑 Hermes Agent）
一、背景
主力推理層一直是 llama.cpp，2026-10-12 換成 Strata 試跑一天，順便照 #2033 kos-or 的四情境測法量了解碼速度。先講結論：一天下來工具呼叫、多模態、繁中輸出全部正常，沒有翻車，速度數據如下。
二、我的測試條件與硬體
項目 內容 模型 Qwen3.8-Flash-Next GGUF（IQ3_S 量化，Strata 編譯器版） 推理引擎 Strata v0.1.42 Context 196,608 tokens（192K） KV cache INT8 streamed；每層 32,768 positions 在 VRAM，其餘於 RAM 投機解碼 MTP drafts ≤3 ＋ prompt lookup MoE 配置 Experts in VRAM：7,661 個（14.5 GB） 多模態 Images on GPU 雙 RTX 5070 Ti 16GB，張量對稱切分，PCIe 3.0 x8+x8 CPU / RAM i9-9900K @3.6GHz（16 執行緒）／128GB DDR4-3200 雙通道 OS Windows 10 Pro 22H2 跑推理層；Agent 在 VirtualBox Ubuntu VM，經 8080 跨層呼叫，零雲端 API 三、測試方式（對齊 #2033）
- 四情境各生成 1,200 tokens，串流計數，解碼速度 ＝（總時間 − TTFT）換算 tok/s
- 情境：解題（數學證明多解法）／Coding（LRU Cache 完整實作）／英文寫作／中文寫作（各 1500 字技術文章）
- temperature 0.5、Strata 預設思考、每情境間隔 3 秒冷卻
四、結果與對照（同為雙 5070 Ti 16G）
情境 kos-or #2033（IQ3_XXS／v0.1.31／256K） 我（IQ3_S／v0.1.42／192K） 解題 127 tok/s 106.4 tok/s Coding 110~140 tok/s 108.6 tok/s 英文寫作 100 tok/s 91.1 tok/s 中文寫作 85 tok/s 106.9 tok/s 五、變因差異
變因 kos-or #2033 我 量化 IQ3_XXS IQ3_S（權重較大，頻寬需求較高） MTP 文內未標註 drafts ≤3 ＋ prompt lookup CPU/記憶體 Threadripper Pro 3945WX＋八通道 DDR4（153GB/s） i9-9900K＋雙通道 DDR4-3200 PCIe 雙 PCIe 4.0 x16（32GB/s） PCIe 3.0 x8+x8（8GB/s） Context 256K 192K KV cache INT8 INT8（相同） 六、心得
- 中文寫作逆勝 26%：他 85、我 106.9。Flash-Next 系列中文輸出速度跟平台關係很大，老平台在中文情境不吃虧。
- MoE experts 只駐 14.5GB：32GB 顯存跑 Flash-Next 很從容，連 KV 都塞得下每層 32K positions——Strata 的 KV「VRAM＋RAM 分層」是明示設計，跟 llama.cpp 靜默 spill 到 CPU 是兩回事，這點體驗差很多。
- PCIe 3.0 x8+x8 瓶頸確認存在：解題／英文情境落後 15~20%，與他 4.0 x16＋八通道的頻寬差距方向一致；但中文情境反超說明瓶頸不是單向的。
- Agent 場景附加觀察：換引擎後 function calling、圖片 OCR、繁中語感全數正常，Hermes 側零改動無縫切換。
-
我來交一下作業，優化後 還是可以用一下，只是比LLAMA.CPP慢一些
因該是我的HERMES+CHAT的限制關係，如果瀏覽器直出，就沒有這個問題
【實測】雙 5070 Ti 16G × Strata v0.1.42 跑 Qwen3.8-Flash-Next IQ3_S：四情境解碼實錄（對齊 #2033 測法）
適配硬體： 雙 NVIDIA RTX 5070 Ti 16GB（32GB VRAM）＋ Windows 10 實體機 ＋ VirtualBox Ubuntu VM（跑 Hermes Agent）
一、背景
主力推理層一直是 llama.cpp，2026-10-12 換成 Strata 試跑一天，順便照 #2033 kos-or 的四情境測法量了解碼速度。先講結論：一天下來工具呼叫、多模態、繁中輸出全部正常，沒有翻車，速度數據如下。
二、我的測試條件與硬體
項目 內容 模型 Qwen3.8-Flash-Next GGUF（IQ3_S 量化，Strata 編譯器版） 推理引擎 Strata v0.1.42 Context 196,608 tokens（192K） KV cache INT8 streamed；每層 32,768 positions 在 VRAM，其餘於 RAM 投機解碼 MTP drafts ≤3 ＋ prompt lookup MoE 配置 Experts in VRAM：7,661 個（14.5 GB） 多模態 Images on GPU 雙 RTX 5070 Ti 16GB，張量對稱切分，PCIe 3.0 x8+x8 CPU / RAM i9-9900K @3.6GHz（16 執行緒）／128GB DDR4-3200 雙通道 OS Windows 10 Pro 22H2 跑推理層；Agent 在 VirtualBox Ubuntu VM，經 8080 跨層呼叫，零雲端 API 三、測試方式（對齊 #2033）
- 四情境各生成 1,200 tokens，串流計數，解碼速度 ＝（總時間 − TTFT）換算 tok/s
- 情境：解題（數學證明多解法）／Coding（LRU Cache 完整實作）／英文寫作／中文寫作（各 1500 字技術文章）
- temperature 0.5、Strata 預設思考、每情境間隔 3 秒冷卻
四、結果與對照（同為雙 5070 Ti 16G）
情境 kos-or #2033（IQ3_XXS／v0.1.31／256K） 我（IQ3_S／v0.1.42／192K） 解題 127 tok/s 106.4 tok/s Coding 110~140 tok/s 108.6 tok/s 英文寫作 100 tok/s 91.1 tok/s 中文寫作 85 tok/s 106.9 tok/s 五、變因差異
變因 kos-or #2033 我 量化 IQ3_XXS IQ3_S（權重較大，頻寬需求較高） MTP 文內未標註 drafts ≤3 ＋ prompt lookup CPU/記憶體 Threadripper Pro 3945WX＋八通道 DDR4（153GB/s） i9-9900K＋雙通道 DDR4-3200 PCIe 雙 PCIe 4.0 x16（32GB/s） PCIe 3.0 x8+x8（8GB/s） Context 256K 192K KV cache INT8 INT8（相同） 六、心得
- 中文寫作逆勝 26%：他 85、我 106.9。Flash-Next 系列中文輸出速度跟平台關係很大，老平台在中文情境不吃虧。
- MoE experts 只駐 14.5GB：32GB 顯存跑 Flash-Next 很從容，連 KV 都塞得下每層 32K positions——Strata 的 KV「VRAM＋RAM 分層」是明示設計，跟 llama.cpp 靜默 spill 到 CPU 是兩回事，這點體驗差很多。
- PCIe 3.0 x8+x8 瓶頸確認存在：解題／英文情境落後 15~20%，與他 4.0 x16＋八通道的頻寬差距方向一致；但中文情境反超說明瓶頸不是單向的。
- Agent 場景附加觀察：換引擎後 function calling、圖片 OCR、繁中語感全數正常，Hermes 側零改動無縫切換。
-
