@YDM said:

中文寫作 117.5 109.5 111.9 113.0 tok/s

現在Strata QFN 中文也跑得飛快 中英寫作一樣快 厲害 ！
而且跑的版本還是 iq4_xs 看來是甜蜜點的最佳配置

本來全放RAM的，我昨天也有測試，我改為direct放SSD了，速度差異0.x%，反而全放RAM有時後掉一點到SSD會破碎反而慢1~2x%，不能把RAM用到爆

不在家我會把其它軟體關掉，專家大該8600~8700左右。

更新Strata 0.2.2（0.1.47 核心）+ CUDA 13.4.3 + Blackwell sm_120

四情境測速結果（qwen3.8-flash-next-uncensored-iq4_xs @ n_ctx 262K）

情境	R1	R2	R3	平均
解題	107.0	130.9	104.7	114.2 tok/s
Coding	122.2	124.8	108.5	118.5 tok/s
英文寫作	121.2	123.2	111.1	118.5 tok/s
中文寫作	117.5	109.5	111.9	113.0 tok/s

解讀：

• 四情境平均全數突破 110，單輪最高 130.9——比 16K 標準基準的穩態（94~107）還高一截。原因：四情境 prompt 短、TTFT 只有 3~6 秒，Decode 段幾乎全程跑熱機穩態，這正是論壇「最高值」口徑的由來。
• Coding／英文寫作最快、解題與中文寫作略慢，屬正常的輸出內容差異，非硬體問題。

將模型整個放在RAM中，還是有一點點會掉到SSD

Strata 三種 --ple-io 模式 — direct(放SSD)/mmap(隨機調整)/ram(只放ram)

我今天再做了一次測試，Agent的分析是
除非SSD的速度很慢, 否則PLE/n-gram放在SSD和RAM中 速度上沒有差異
而且PLE/n-gram放在 SSD中 讀取也不會減少SSD的使用壽命，好處是可以節省RAM的壓力

我暫時相信Agent的說法 哈

我還是老樣子，strata 跑在windows 測試是用同一台主機中的vm虛擬主機，跑ubuntu，pcie掉速可能只讀需要的專家吧，我將模型整個放在RAM中，還是有一點點會掉到SSD，我只有一台電腦只能全在這台跑。

下面跑的是我測試，不會突然掉速的限制VRAM餘量，吃光有時後會掉速，因該是WINDOWS分頁的問題。

目前兩張顯卡（2× RTX 5070 Ti 16GB）在目前執行的 [strata-uncensored-iq4_xs.json]設定下的即時顯存與專家配置如下：

一、駐留專家數量（Resident Experts）

全模型共 24,576 個專家，雙卡總共長駐 8,403 個高頻專家（佔比 34.2%），在最新推論時解碼專家快取命中率維持在 90.4% ~ 94.2%。

二、兩張顯卡剩餘顯存（Free VRAM）

1. Strata 引擎模型載入後基準剩餘（目標 500~550 MiB）

• GPU 0：537 MiB（完美落在 500～550 MiB 區間）
• GPU 1：517 MiB（完美落在 500～550 MiB 區間）

2. nvidia-smi 即時實體顯存監控（含動態工作緩衝區釋放後）

• GPU 0：已用 14,847 MiB / 剩餘 1,149 MiB（溫度 36°C）
• GPU 1：已用 14,780 MiB / 剩餘 1,216 MiB（溫度 33°C）

雙卡均穩定維持在 500 MiB 安全邊際以上，無任何 WDDM 記憶體分頁延遲，運行表現最佳。

@YDM said:

Strata v0.1.45 + IQ4_XS — 雙卡 RTX5070 Ti

感謝分享 我都還沒跑過這一套組合
今天剛好有更新到Strata v0.1.45 我再試試

，我判斷卡在 PCIe 3.0，測試只有跑6.8G

PCIe資料傳輸, 我用Ubuntu "nvtop" 監測 最高高達 29GB/s , 而且常常出現 10GB/s的傳輸量

剛跑完雙卡 RTX 5070 Ti，同一套四情境測法（各生成 1,200 tokens × 3 輪取平均），數據更新如下：

雙卡 RTX 5070 Ti 16G Decode：
解題 : 113.7 tok/s
Coding: 106.7 tok/s
英文寫作 : 117.3 tok/s（單輪最高衝到 136.3）
中文寫作 : 108.7 tok/s

平台規格 :
目標模型 ：Qwen3.8-Flash-Next-Uncensored.i1-IQ4_XS
推理引擎 ：Strata v0.1.45
Context : 256 K
CPU : i9-9900K｜RAM : DDR4 128GB｜PCIe : PCIe 3.0 x8 + x8（無 NVLink，雙卡 tensor split 1,1）

小結：

• 跟樓主 v0.1.31 的數據對照，同測法下 IQ4_XS＋v0.1.45 基本持平略勝（英文寫作單輪有摸到 136）。
• 所有調優都試過，速度一直上不去，我判斷卡在 PCIe 3.0，測試只有跑6.8G——IQ4_XS 權重單張 16G 裝不下必須雙卡，每層 decode activation 都要走 PCIe 交換，x8+x8 頻寬再砍半。量化已經換到帶了，瓶頸就轉移到總線。同場雙卡玩家若能單卡裝下，試試單卡模式對照就知道差在哪。

哈，我沒改上下文，HERMES 有限制192K，我加的資安限制超多的，TTFT測試可以，但實際會慢10~100秒，要看我HERMES跑什麼，沒分小AGENT的後果，哈 。

@YDM said:

192K

你終於用上了QFN了 ！Hermes Agent上很好用的, 反應很快; 上下文可以從192K 增加到 256K, 320K, 512K 基本上都沒問題 但後面兩個我沒測試過不知道這麼大上下文ctx 實用性高嗎

我來交一下作業，優化後 還是可以用一下，只是比LLAMA.CPP慢一些

因該是我的HERMES+CHAT的限制關係，如果瀏覽器直出，就沒有這個問題

【實測】雙 5070 Ti 16G × Strata v0.1.42 跑 Qwen3.8-Flash-Next IQ3_S：四情境解碼實錄（對齊 #2033 測法）

適配硬體： 雙 NVIDIA RTX 5070 Ti 16GB（32GB VRAM）＋ Windows 10 實體機 ＋ VirtualBox Ubuntu VM（跑 Hermes Agent）

一、背景

主力推理層一直是 llama.cpp，2026-10-12 換成 Strata 試跑一天，順便照 #2033 kos-or 的四情境測法量了解碼速度。先講結論：一天下來工具呼叫、多模態、繁中輸出全部正常，沒有翻車，速度數據如下。

二、我的測試條件與硬體

三、測試方式（對齊 #2033）

• 四情境各生成 1,200 tokens，串流計數，解碼速度 ＝（總時間 − TTFT）換算 tok/s
• 情境：解題（數學證明多解法）／Coding（LRU Cache 完整實作）／英文寫作／中文寫作（各 1500 字技術文章）
• temperature 0.5、Strata 預設思考、每情境間隔 3 秒冷卻

四、結果與對照（同為雙 5070 Ti 16G）

五、變因差異

六、心得

1. 中文寫作逆勝 26%：他 85、我 106.9。Flash-Next 系列中文輸出速度跟平台關係很大，老平台在中文情境不吃虧。
2. MoE experts 只駐 14.5GB：32GB 顯存跑 Flash-Next 很從容，連 KV 都塞得下每層 32K positions——Strata 的 KV「VRAM＋RAM 分層」是明示設計，跟 llama.cpp 靜默 spill 到 CPU 是兩回事，這點體驗差很多。
3. PCIe 3.0 x8+x8 瓶頸確認存在：解題／英文情境落後 15~20%，與他 4.0 x16＋八通道的頻寬差距方向一致；但中文情境反超說明瓶頸不是單向的。
4. Agent 場景附加觀察：換引擎後 function calling、圖片 OCR、繁中語感全數正常，Hermes 側零改動無縫切換。

@fcme said:

6252，12x8G DDR4 ecc，拉满了12通道，5070ti走Pcie3x16。

剛查了 戴尔 Precision 7820 塔式工作站 Spec 屬於六通道 但是有12插槽
六通道内存，最高 384GB 2666MHz DDR4 ECC 内存，双 CPU，12 个 DIMM 插槽（每个 CPU 6 个 DIMM）。

如果是 DDR4-2666 ECC x 六通道 = 記憶體頻寬約127 GB/s

但你這是雙CPU 能否請AI Agent 幫你設定跑雙CPU ??

@fcme said:

我这个戴尔7820服务器，ddr4内存12×8=96GB，但是pcie只是3.0×16。就这配置能开到上下文256k还能有2000/60左右的速度其实是性价比挺高的了。

我這帖子是雙卡 split-layer 數據，單卡我記得是60~95之間

雙卡 PCIe 資料量傳輸平均大約10 GB/s，最高峰值約29 GB/s，PCIe 3.0 x 16 (16 GB/s) 大部分的情況下應該是夠的，可以觀察看看 ;

除非CPU是個限制，但你看我的线程撕裂者3945WX 使用狀況 負載大約60%

你的記憶體是 DDR4 頻率多少的？
我的是 DDR4-2400 ECC x 8 => 八通道 理論值 153 GB/s 記憶體頻寬

@fcme said:

5070Ti试了一下，PP2000左右/TG60-65（比R9700还好）

這是中文寫作的速度嗎？

5070 Ti => 量化 IQ3_XXS 中文寫作 : 85 tok/s , 至於 IQ3_S, IQ4 我還沒試過表現

以後有需要再安裝，小秘書能滿足目前的需求就夠了
因為大概2~3個月內"可能"又要換模型和引擎了
我們的 RTX 5070 Ti 能用 棒棒的！

Strata + QFN 對顯卡非常友善 很耐操 溫度都在55度以下，
兩張卡各別消耗130W而已，因為CPU有幫忙分擔workload，
也可以兩張單卡使用兩個QFN port 8080, 8081 各開一個，都夠用了

我沒時間玩，但有偷偷看，別吸引我

我剛剛得到一組雙卡的數字 優化的 MTP7, Prompt 13k :

• 最佳整體 screening candidate：spec 7
  • 最低 TTFT：5.0524 s
  • 最快 Prefill：3,264.2 tok/s
  • 最高 Decode/TG：139.3 tok/s

我再次測看看