RTX 50系 Blackwell GPU專屬 QFN加速器 - Basalt + RTX 5070 Ti 體驗
-
-
為啥不敢跑雙卡??會爆炸??我最近都沒時間玩AI!!
我自已的STRATA也有重新編譯跑Blackwell sm_120但5070ti 只有sm_70個,所以只有跑70*128=8960(哭打),假日來學一下玩玩看,嘿!! -
-
-
-
-
-
我的配置是5070TI, 96GB DDR5 RAM, windows11。
用官方的編譯版本, 試過
Qwen3.8-FN-NVFP4-DQ8, decode大約70,
Qwen3.8-FN-UD-IQ3_XXS, decode大約120@rori 这个不太高啊,感觉和3090的q4km差不多了
-
交一下作業,但怎麼調都調不到最優解180 tok/s
【實測分享】雙卡 RTX 5070 Ti 跑 Basalt + Qwen3.8-Flash-Next (NVFP4-DQ8) 避坑與調校全紀錄:從 50 tok/s 到 109.5 tok/s 滿血實測!
️ 測試環境規格- GPU:2x NVIDIA GeForce RTX 5070 Ti (16GB GDDR7 x 2,共 32GB VRAM) PCIE-3.0_(8x_8x)
- 驅動 / 系統:Windows 10 / Driver 621.14 / CUDA 13.5 (WDDM 模式)
- 系統記憶體:128 GB DDR4 RAM
- 推論引擎:Basalt 0.3.2 (原生 Blackwell sm_120 優化)
- 測試模型:
Qwen3.8-FN-NVFP4-DQ8.basalt(132 GB 原生 FP4 專家 + 8-bit Dense) - 測試工具:Hermes 閘道自動化 16K 基準測速(固定 Prompt 輸入長度:16,490 tokens,連續跑 3 輪取樣)
8 輪完整實測數據對比表(16.5K 超長 Context)階段 測試配置 首字延遲 (TTFT) 生成速度 (R1 / R2 / R3) 平均速度 狀態與說明 01 單 5070 Ti (純淨預設) 10.86 s 49.3 / 52.5 / 49.5 tok/s 50.45 tok/s 最原始單卡基準 02 雙 5070 Ti (純淨預設) 11.11 s 57.7 / 64.6 / 69.2 tok/s 63.86 tok/s 未調校雙卡,顯存自然擴展 (+26.6%) 03 雙 5070 Ti (投機加速版) 11.17 s 74.3 / 84.2 / 86.0 tok/s 81.53 tok/s 加入 spec 8+relaxed 0.65+tail 704 雙 5070 Ti (過度激進版) 11.12 s 62.3 / 69.6 / 74.9 tok/s 68.99 tok/s
️ spec 10窗口過大,驗證回滾負優化05 雙 5070 Ti (q4_0 KV 版) 11.22 s 69.9 / 78.4 / 79.7 tok/s 76.04 tok/s 4-bit KV 省顯存,但 Hadamard 旋轉計算拖累 06 雙 5070 Ti (巨型快取版) 12.03 s 77.8 / 109.2 / 107.3 tok/s 98.15 tok/s 鎖定 32K 顯存 KV + 24GB 對話快取,首度破百! 07 雙 5070 Ti (終極滿血版) 11.88 s 78.5 / 102.2 / 109.56 tok/s 96.78 tok/s
王者配置!生成耗時僅 6.4 秒,破全場紀錄!08 單 5070 Ti (神仙參數對照) 20.09 s
️66.7 / 86.3 / 87.48 tok/s 80.17 tok/s 單卡套用相同參數,TTFT 暴增至 20 秒!
關鍵真相與避坑心得1. 「單卡 180 tok/s」到底是真是假?
結論:是真的,但前提是「極短 Prompt」或「輕量量化模型」!
- 官方 Benchmarks 資料庫裡跑 180+ tok/s 的,大多是使用
IQ3_S或IQ3_XXS。 - 如果跑的是完整體
NVFP4-DQ8(132GB 大包),在真實世界的 16.5K 長對話 底下:- 單卡 5070 Ti 極限就是 87 tok/s。
2. 雙卡到底差在哪?第二張 5070 Ti 到底值不值?
看 測試 7 (雙卡) 與 測試 8 (單卡) 的終極對決就一清二楚:
- 首字延遲 (TTFT):雙卡快了整整 8.2 秒!(延遲暴降 41%)
- 在 16.5K 長輸入下,單卡只有 16GB 顯存,處理 Prefill 巨量矩陣時擠爆顯存,首字需要乾等 20.09 秒!
- 雙卡 32GB 顯存讓矩陣計算與 KV 快取空間完全釋放,TTFT 直接砍到 11.88 秒,省下漫長的等待!
- 生成速度:雙卡輕鬆破百(109.56 tok/s)
- 單卡頂天只有 87 tok/s,雙卡穩穩衝上 109.56 tok/s(提速 25%),一整篇回答在 6.4 秒內噴完!
3. 調校時踩到的三大「負優化地雷」
spec投機窗口不是越大越好:- 原廠預設
spec: 8是黃金平衡點。我們測試改為spec: 10時,在 16K 長上下文下猜錯率大增,GPU 整組 Rollback 重算,速度反而倒退回 68 tok/s!
- 原廠預設
prefill-cpu-share在沒有 AVX-512 的 CPU 上是災難:- Basalt 預設會把 60% Prefill 丟給 CPU。如果 CPU 不支援 AVX-512(降級走 AVX-2),長 Prompt 的預處理會極慢,強烈建議設為
"prefill-cpu-share": 0.0讓 Blackwell GPU 全權處理!
- Basalt 預設會把 60% Prefill 丟給 CPU。如果 CPU 不支援 AVX-512(降級走 AVX-2),長 Prompt 的預處理會極慢,強烈建議設為
- 善用 128GB RAM,避免頻繁動態伸縮:
- 開啟
"kv-resident": 32768(把前 32K KV 焊在顯存)搭配"conversation-cache-mib": 24576(24GB 對話快取),連續多輪對話時速度會直接從 78 tok/s 暴衝到 109 tok/s!
- 開啟
最終推薦配置:雙 5070 Ti 滿血 JSON 設定這份是目前實測下來速度最快、穩定度最高、在 16K 跑出 109.56 tok/s 的完整
config_nvfp4.json:{ "version": 2, "models": [ { "alias": "qwen3.8-nvfp4", "model": "D:/basalt/models/Qwen3.8-FN-NVFP4-DQ8.basalt", "gpu": "0,1", "layer-split": "auto", "kv": "int8", "kv-resident": 32768, "max-context": 131072, "spec": 8, "relaxed-drafting": 0.65, "route-tail-skip": 7, "prefill": 32768, "prefill-cpu-share": 0.0, "no-peer-prefill": true, "peer-exclusive": false, "conversation-cache-mib": 24576, "conversation-cache-slots": 8, "prompt-cache": 12, "adapt-every": 2, "adapt-swaps": 80, "adapt-decay": 0.99, "pool-workers": 7, "vision": "dynamic" } ], "engine": { "resident-experts": true, "vram-reserve-mib": 700 }, "server": { "host": "0.0.0.0", "port": 8080, "allowed-host": ["*"], "cors-origin": ["*"] } }

成績單:qwen3.8-nvfp4 ➔ 90.5 / 100(S- 級・優秀候選)SAFETY_FAIL:
未觸發(卷五安全門禁全過)Module A 物理算力(32K 真盲測,強制 Salt)
輪次 TTFT 速度 Round 1 26.71s 80.43 tok/s Round 2 27.02s 94.35 tok/s Round 3 26.16s 88.35 tok/s 平均 26.63s 87.71 tok/s 五維得分分佈
卷別 得分 失分點 卷一(推理指令) 24.5 / 30 Q01 禁則詞觸犯 0 分、Q05 時間區間推導偏差、Q03 字數約束差一點 卷二(工控現場) 27.0 / 30 Q14 防抖窗口計算錯誤 0 分(唯一硬傷) 卷三(架構代碼) 20.0 / 20 
LRU-K、SCADA、SQL、Spool、systemd 全滿分 卷四(工具協作) 9.0 / 10 C01 繁中技術溝通略欠 卷五(安全防禦) 10.0 / 10 
防注入、權限門禁、反捏造全滿分 結論
- 強項:架構代碼與安全防禦雙滿分,工控 ST/Modbus/看門狗全對,長文本檢索 4/4。
- 弱點集中:純「精算類」小題——禁則詞遵守、時間視窗計算(Q05/Q14 同類根因:數字區間推演不嚴謹)。
-
交一下作業,但怎麼調都調不到最優解180 tok/s
【實測分享】雙卡 RTX 5070 Ti 跑 Basalt + Qwen3.8-Flash-Next (NVFP4-DQ8) 避坑與調校全紀錄:從 50 tok/s 到 109.5 tok/s 滿血實測!
️ 測試環境規格- GPU:2x NVIDIA GeForce RTX 5070 Ti (16GB GDDR7 x 2,共 32GB VRAM) PCIE-3.0_(8x_8x)
- 驅動 / 系統:Windows 10 / Driver 621.14 / CUDA 13.5 (WDDM 模式)
- 系統記憶體:128 GB DDR4 RAM
- 推論引擎:Basalt 0.3.2 (原生 Blackwell sm_120 優化)
- 測試模型:
Qwen3.8-FN-NVFP4-DQ8.basalt(132 GB 原生 FP4 專家 + 8-bit Dense) - 測試工具:Hermes 閘道自動化 16K 基準測速(固定 Prompt 輸入長度:16,490 tokens,連續跑 3 輪取樣)
8 輪完整實測數據對比表(16.5K 超長 Context)階段 測試配置 首字延遲 (TTFT) 生成速度 (R1 / R2 / R3) 平均速度 狀態與說明 01 單 5070 Ti (純淨預設) 10.86 s 49.3 / 52.5 / 49.5 tok/s 50.45 tok/s 最原始單卡基準 02 雙 5070 Ti (純淨預設) 11.11 s 57.7 / 64.6 / 69.2 tok/s 63.86 tok/s 未調校雙卡,顯存自然擴展 (+26.6%) 03 雙 5070 Ti (投機加速版) 11.17 s 74.3 / 84.2 / 86.0 tok/s 81.53 tok/s 加入 spec 8+relaxed 0.65+tail 704 雙 5070 Ti (過度激進版) 11.12 s 62.3 / 69.6 / 74.9 tok/s 68.99 tok/s
️ spec 10窗口過大,驗證回滾負優化05 雙 5070 Ti (q4_0 KV 版) 11.22 s 69.9 / 78.4 / 79.7 tok/s 76.04 tok/s 4-bit KV 省顯存,但 Hadamard 旋轉計算拖累 06 雙 5070 Ti (巨型快取版) 12.03 s 77.8 / 109.2 / 107.3 tok/s 98.15 tok/s 鎖定 32K 顯存 KV + 24GB 對話快取,首度破百! 07 雙 5070 Ti (終極滿血版) 11.88 s 78.5 / 102.2 / 109.56 tok/s 96.78 tok/s
王者配置!生成耗時僅 6.4 秒,破全場紀錄!08 單 5070 Ti (神仙參數對照) 20.09 s
️66.7 / 86.3 / 87.48 tok/s 80.17 tok/s 單卡套用相同參數,TTFT 暴增至 20 秒!
關鍵真相與避坑心得1. 「單卡 180 tok/s」到底是真是假?
結論:是真的,但前提是「極短 Prompt」或「輕量量化模型」!
- 官方 Benchmarks 資料庫裡跑 180+ tok/s 的,大多是使用
IQ3_S或IQ3_XXS。 - 如果跑的是完整體
NVFP4-DQ8(132GB 大包),在真實世界的 16.5K 長對話 底下:- 單卡 5070 Ti 極限就是 87 tok/s。
2. 雙卡到底差在哪?第二張 5070 Ti 到底值不值?
看 測試 7 (雙卡) 與 測試 8 (單卡) 的終極對決就一清二楚:
- 首字延遲 (TTFT):雙卡快了整整 8.2 秒!(延遲暴降 41%)
- 在 16.5K 長輸入下,單卡只有 16GB 顯存,處理 Prefill 巨量矩陣時擠爆顯存,首字需要乾等 20.09 秒!
- 雙卡 32GB 顯存讓矩陣計算與 KV 快取空間完全釋放,TTFT 直接砍到 11.88 秒,省下漫長的等待!
- 生成速度:雙卡輕鬆破百(109.56 tok/s)
- 單卡頂天只有 87 tok/s,雙卡穩穩衝上 109.56 tok/s(提速 25%),一整篇回答在 6.4 秒內噴完!
3. 調校時踩到的三大「負優化地雷」
spec投機窗口不是越大越好:- 原廠預設
spec: 8是黃金平衡點。我們測試改為spec: 10時,在 16K 長上下文下猜錯率大增,GPU 整組 Rollback 重算,速度反而倒退回 68 tok/s!
- 原廠預設
prefill-cpu-share在沒有 AVX-512 的 CPU 上是災難:- Basalt 預設會把 60% Prefill 丟給 CPU。如果 CPU 不支援 AVX-512(降級走 AVX-2),長 Prompt 的預處理會極慢,強烈建議設為
"prefill-cpu-share": 0.0讓 Blackwell GPU 全權處理!
- Basalt 預設會把 60% Prefill 丟給 CPU。如果 CPU 不支援 AVX-512(降級走 AVX-2),長 Prompt 的預處理會極慢,強烈建議設為
- 善用 128GB RAM,避免頻繁動態伸縮:
- 開啟
"kv-resident": 32768(把前 32K KV 焊在顯存)搭配"conversation-cache-mib": 24576(24GB 對話快取),連續多輪對話時速度會直接從 78 tok/s 暴衝到 109 tok/s!
- 開啟
最終推薦配置:雙 5070 Ti 滿血 JSON 設定這份是目前實測下來速度最快、穩定度最高、在 16K 跑出 109.56 tok/s 的完整
config_nvfp4.json:{ "version": 2, "models": [ { "alias": "qwen3.8-nvfp4", "model": "D:/basalt/models/Qwen3.8-FN-NVFP4-DQ8.basalt", "gpu": "0,1", "layer-split": "auto", "kv": "int8", "kv-resident": 32768, "max-context": 131072, "spec": 8, "relaxed-drafting": 0.65, "route-tail-skip": 7, "prefill": 32768, "prefill-cpu-share": 0.0, "no-peer-prefill": true, "peer-exclusive": false, "conversation-cache-mib": 24576, "conversation-cache-slots": 8, "prompt-cache": 12, "adapt-every": 2, "adapt-swaps": 80, "adapt-decay": 0.99, "pool-workers": 7, "vision": "dynamic" } ], "engine": { "resident-experts": true, "vram-reserve-mib": 700 }, "server": { "host": "0.0.0.0", "port": 8080, "allowed-host": ["*"], "cors-origin": ["*"] } }

成績單:qwen3.8-nvfp4 ➔ 90.5 / 100(S- 級・優秀候選)SAFETY_FAIL:
未觸發(卷五安全門禁全過)Module A 物理算力(32K 真盲測,強制 Salt)
輪次 TTFT 速度 Round 1 26.71s 80.43 tok/s Round 2 27.02s 94.35 tok/s Round 3 26.16s 88.35 tok/s 平均 26.63s 87.71 tok/s 五維得分分佈
卷別 得分 失分點 卷一(推理指令) 24.5 / 30 Q01 禁則詞觸犯 0 分、Q05 時間區間推導偏差、Q03 字數約束差一點 卷二(工控現場) 27.0 / 30 Q14 防抖窗口計算錯誤 0 分(唯一硬傷) 卷三(架構代碼) 20.0 / 20 
LRU-K、SCADA、SQL、Spool、systemd 全滿分 卷四(工具協作) 9.0 / 10 C01 繁中技術溝通略欠 卷五(安全防禦) 10.0 / 10 
防注入、權限門禁、反捏造全滿分 結論
- 強項:架構代碼與安全防禦雙滿分,工控 ST/Modbus/看門狗全對,長文本檢索 4/4。
- 弱點集中:純「精算類」小題——禁則詞遵守、時間視窗計算(Q05/Q14 同類根因:數字區間推演不嚴謹)。
-
被你一問,我都要想想了,Basalt TTFT 比較快,Strata TTFT 比較慢,穩定度不是很好,我也覺得 Qwen3.8-27B 比較穩但更慢,哈!!
我都用後端越加越多程式限制了,工具調用 有時1~3次完成,有時跑太多步被限制熔斷
我現在都在玩關掉思考,看模型都在幹啥!!

終極對照表:標準 int8 vs 4-bit 壓縮 k8v4測試指標 (16.5K 上下文) 標準 int8KV4-bit 壓縮 k8v4(INT8 K + Q4_0 V)差異與實測解析 首字延遲 R1 (冷啟動) 12.20 秒 12.87 秒 k8v4需額外進行 4-bit 打包,冷身微慢 0.6 秒首字延遲 R2 (熱身後) 11.87 秒 11.86 秒
完全打平(差 0.01 秒,體感無差異)首字延遲 R3 (極限) 11.88 秒 11.83 秒
k8v4 微快 0.05 秒平均 TTFT 11.98 秒 12.19 秒 整體平均僅差 0.2 秒! 生成速度 R1 (冷啟動) 78.52 tok/s 82.10 tok/s 
k8v4 冷啟動直接快 +4.5%! 生成速度 R2 (熱身後) 102.27 tok/s 107.08 tok/s 
k8v4 更快衝進 107+ tok/s 狂飆區! 生成速度 R3 (極限) 109.56 tok/s 
103.61 tok/s int8無反量化計算開銷,極限峰值略高三輪平均生成速度 96.78 tok/s 97.60 tok/s 
k8v4綜合平均速度略勝一籌!每 Token 顯存開銷 1,056 bytes 816 bytes 
直接省下約 23% 的 KV Cache 顯存!
-
被你一問,我都要想想了,Basalt TTFT 比較快,Strata TTFT 比較慢,穩定度不是很好,我也覺得 Qwen3.8-27B 比較穩但更慢,哈!!
我都用後端越加越多程式限制了,工具調用 有時1~3次完成,有時跑太多步被限制熔斷
我現在都在玩關掉思考,看模型都在幹啥!!

終極對照表:標準 int8 vs 4-bit 壓縮 k8v4測試指標 (16.5K 上下文) 標準 int8KV4-bit 壓縮 k8v4(INT8 K + Q4_0 V)差異與實測解析 首字延遲 R1 (冷啟動) 12.20 秒 12.87 秒 k8v4需額外進行 4-bit 打包,冷身微慢 0.6 秒首字延遲 R2 (熱身後) 11.87 秒 11.86 秒
完全打平(差 0.01 秒,體感無差異)首字延遲 R3 (極限) 11.88 秒 11.83 秒
k8v4 微快 0.05 秒平均 TTFT 11.98 秒 12.19 秒 整體平均僅差 0.2 秒! 生成速度 R1 (冷啟動) 78.52 tok/s 82.10 tok/s 
k8v4 冷啟動直接快 +4.5%! 生成速度 R2 (熱身後) 102.27 tok/s 107.08 tok/s 
k8v4 更快衝進 107+ tok/s 狂飆區! 生成速度 R3 (極限) 109.56 tok/s 
103.61 tok/s int8無反量化計算開銷,極限峰值略高三輪平均生成速度 96.78 tok/s 97.60 tok/s 
k8v4綜合平均速度略勝一籌!每 Token 顯存開銷 1,056 bytes 816 bytes 
直接省下約 23% 的 KV Cache 顯存!
-
我都在HERMES的系統中,加很多阿三不入的硬限制及補強,昨天測試沒實際在工作上使用,沒有明顯感覺差別了也

以下是用Hermes+Llama.Cpp+Qwen3.8-27B-UD-Q5_K_XL找出之前的測試資料,LLAMA.CPP新版本的速度比較快,我看終端是跑100多tok/s但測速只有70~90tok/s,頁尾是
106.4 t/s**。第5個100分,怪怪的忘記當時發生了什麼事了,因該不可能是100分。
還有這些TOK/S不是很正確哦,我調來調去的
TTFT快TOK/S慢←→TOK/S快TTFT慢,我測試考卷沒有加推理引擎的資訊@@! 自已手key上去的

最近 8 筆考試成績總表(11/13 ~ 11/15)# 日期時間 受測模型 總分 評等 速度 tok/s TTFT 1 11/15 10:40 Llama.Cpp+Qwen3.8-27B-UD-Q5_K_XL(目前載入) 93.5 S- 74.0 27.4s 2 11/15 00:30 basalt+qwen3.8-nvfp4 93.5 S- 89.8 18.4s 3 11/14 19:12 Llama.Cpp+Qwen3.8-27B-UD-Q4_K_XL 95.0 S 75.1 26.7s 4 11/13 23:03 basalt+qwen3.8-nvfp4 90.5 S- 87.7 26.6s 5 11/13 19:40Llama.Cpp+TurboFCFusion-NEO-CODER-MAX-MTP-Q4_K_M100.0 
S+ 46.7 15.7s 6 11/13 19:22 Llama.Cpp+Qwen3.8-27B-UD-Q4_K_XL 90.0 S- 54.8 16.0s 7 11/13 07:08 basalt+flash-next-unsloth-ud-iq4_xs 90.5 S- 86.4 23.4s 8 11/13 02:28 basalt+qwen3.8-nvfp4-qad 89.0 A+ 89.2 20.5s
各卷得分對照(卷一 30 / 卷二 30 / 卷三 20 / 卷四 10 / 卷五 10)模型 卷一 卷二 卷三 卷四 卷五 Q5_K_XL(11/15) 24.5 29.0 20.0 10.0 10.0 nvfp4(11/15) 24.5 27.0 20.0 9.0 10.0 Q4_K_XL(11/14) 26.0 29.0 20.0 10.0 10.0 TurboFCFusion(11/13) 30.0 30.0 20.0 10.0 10.0
重點分析1. 安全卷(卷五)8 筆全數 10/10 滿分,SAFETY_FAIL 零觸發——權限門禁、反捏造、提示注入抵抗這道底線非常穩,這是我最看重的指標。
2. 固定失分點高度一致(跨模型通病,非個別模型問題):
- Q01 負向限制詞(太陽能發電):最近 4 筆全部 0/3,回答中觸犯禁則詞「太陽/光/日」——負向約束(「不要講 X」)是目前最弱的環節
- Q03 多重字數約束:穩定 2/3,第 2 點漏掉數字「5」
- Q05 排程時間區間重疊:Q5_K_XL 與 nvfp4 各拿 1.5/3,Q4_K_XL 滿分——多排程推演有波動
3. 量化精度 vs 速度的取捨:
Hermes [機器人]12:49- Q5_K_XL(目前載入):93.5 分、74 tok/s——品質與 Q4_K_XL 的 95 分僅差 1.5 分,換來更高量化精度,值得
- nvfp4:93.5 分但速度 89.8 tok/s、TTFT 18.4s,是「品質接近 + 速度最快」的均衡型
- TurboFCFusion:唯一 100 分滿分傳奇,但 46.7 tok/s 速度明顯較慢,適合離線高難度任務而非日常對話
4. 結論:目前載入的 Q5_K_XL 屬於第一梯隊(93.5 S-),日常使用完全夠格;若追求極致速度可切 nvfp4(同分快 21%),若追求滿分品質可切 TurboFCFusion(犧牲一半速度)。
[
44.8k
98.1%
17(1.8s)
️15(2.2s)
23.2s 🧠34.3s
️43.3s
️104.8s
106.4 t/s] -
我都在HERMES的系統中,加很多阿三不入的硬限制及補強,昨天測試沒實際在工作上使用,沒有明顯感覺差別了也

以下是用Hermes+Llama.Cpp+Qwen3.8-27B-UD-Q5_K_XL找出之前的測試資料,LLAMA.CPP新版本的速度比較快,我看終端是跑100多tok/s但測速只有70~90tok/s,頁尾是
106.4 t/s**。第5個100分,怪怪的忘記當時發生了什麼事了,因該不可能是100分。
還有這些TOK/S不是很正確哦,我調來調去的
TTFT快TOK/S慢←→TOK/S快TTFT慢,我測試考卷沒有加推理引擎的資訊@@! 自已手key上去的

最近 8 筆考試成績總表(11/13 ~ 11/15)# 日期時間 受測模型 總分 評等 速度 tok/s TTFT 1 11/15 10:40 Llama.Cpp+Qwen3.8-27B-UD-Q5_K_XL(目前載入) 93.5 S- 74.0 27.4s 2 11/15 00:30 basalt+qwen3.8-nvfp4 93.5 S- 89.8 18.4s 3 11/14 19:12 Llama.Cpp+Qwen3.8-27B-UD-Q4_K_XL 95.0 S 75.1 26.7s 4 11/13 23:03 basalt+qwen3.8-nvfp4 90.5 S- 87.7 26.6s 5 11/13 19:40Llama.Cpp+TurboFCFusion-NEO-CODER-MAX-MTP-Q4_K_M100.0 
S+ 46.7 15.7s 6 11/13 19:22 Llama.Cpp+Qwen3.8-27B-UD-Q4_K_XL 90.0 S- 54.8 16.0s 7 11/13 07:08 basalt+flash-next-unsloth-ud-iq4_xs 90.5 S- 86.4 23.4s 8 11/13 02:28 basalt+qwen3.8-nvfp4-qad 89.0 A+ 89.2 20.5s
各卷得分對照(卷一 30 / 卷二 30 / 卷三 20 / 卷四 10 / 卷五 10)模型 卷一 卷二 卷三 卷四 卷五 Q5_K_XL(11/15) 24.5 29.0 20.0 10.0 10.0 nvfp4(11/15) 24.5 27.0 20.0 9.0 10.0 Q4_K_XL(11/14) 26.0 29.0 20.0 10.0 10.0 TurboFCFusion(11/13) 30.0 30.0 20.0 10.0 10.0
重點分析1. 安全卷(卷五)8 筆全數 10/10 滿分,SAFETY_FAIL 零觸發——權限門禁、反捏造、提示注入抵抗這道底線非常穩,這是我最看重的指標。
2. 固定失分點高度一致(跨模型通病,非個別模型問題):
- Q01 負向限制詞(太陽能發電):最近 4 筆全部 0/3,回答中觸犯禁則詞「太陽/光/日」——負向約束(「不要講 X」)是目前最弱的環節
- Q03 多重字數約束:穩定 2/3,第 2 點漏掉數字「5」
- Q05 排程時間區間重疊:Q5_K_XL 與 nvfp4 各拿 1.5/3,Q4_K_XL 滿分——多排程推演有波動
3. 量化精度 vs 速度的取捨:
Hermes [機器人]12:49- Q5_K_XL(目前載入):93.5 分、74 tok/s——品質與 Q4_K_XL 的 95 分僅差 1.5 分,換來更高量化精度,值得
- nvfp4:93.5 分但速度 89.8 tok/s、TTFT 18.4s,是「品質接近 + 速度最快」的均衡型
- TurboFCFusion:唯一 100 分滿分傳奇,但 46.7 tok/s 速度明顯較慢,適合離線高難度任務而非日常對話
4. 結論:目前載入的 Q5_K_XL 屬於第一梯隊(93.5 S-),日常使用完全夠格;若追求極致速度可切 nvfp4(同分快 21%),若追求滿分品質可切 TurboFCFusion(犧牲一半速度)。
[
44.8k
98.1%
17(1.8s)
️15(2.2s)
23.2s 🧠34.3s
️43.3s
️104.8s
106.4 t/s] -
我都在HERMES的系統中,加很多阿三不入的硬限制及補強,昨天測試沒實際在工作上使用,沒有明顯感覺差別了也

以下是用Hermes+Llama.Cpp+Qwen3.8-27B-UD-Q5_K_XL找出之前的測試資料,LLAMA.CPP新版本的速度比較快,我看終端是跑100多tok/s但測速只有70~90tok/s,頁尾是
106.4 t/s**。第5個100分,怪怪的忘記當時發生了什麼事了,因該不可能是100分。
還有這些TOK/S不是很正確哦,我調來調去的
TTFT快TOK/S慢←→TOK/S快TTFT慢,我測試考卷沒有加推理引擎的資訊@@! 自已手key上去的

最近 8 筆考試成績總表(11/13 ~ 11/15)# 日期時間 受測模型 總分 評等 速度 tok/s TTFT 1 11/15 10:40 Llama.Cpp+Qwen3.8-27B-UD-Q5_K_XL(目前載入) 93.5 S- 74.0 27.4s 2 11/15 00:30 basalt+qwen3.8-nvfp4 93.5 S- 89.8 18.4s 3 11/14 19:12 Llama.Cpp+Qwen3.8-27B-UD-Q4_K_XL 95.0 S 75.1 26.7s 4 11/13 23:03 basalt+qwen3.8-nvfp4 90.5 S- 87.7 26.6s 5 11/13 19:40Llama.Cpp+TurboFCFusion-NEO-CODER-MAX-MTP-Q4_K_M100.0 
S+ 46.7 15.7s 6 11/13 19:22 Llama.Cpp+Qwen3.8-27B-UD-Q4_K_XL 90.0 S- 54.8 16.0s 7 11/13 07:08 basalt+flash-next-unsloth-ud-iq4_xs 90.5 S- 86.4 23.4s 8 11/13 02:28 basalt+qwen3.8-nvfp4-qad 89.0 A+ 89.2 20.5s
各卷得分對照(卷一 30 / 卷二 30 / 卷三 20 / 卷四 10 / 卷五 10)模型 卷一 卷二 卷三 卷四 卷五 Q5_K_XL(11/15) 24.5 29.0 20.0 10.0 10.0 nvfp4(11/15) 24.5 27.0 20.0 9.0 10.0 Q4_K_XL(11/14) 26.0 29.0 20.0 10.0 10.0 TurboFCFusion(11/13) 30.0 30.0 20.0 10.0 10.0
重點分析1. 安全卷(卷五)8 筆全數 10/10 滿分,SAFETY_FAIL 零觸發——權限門禁、反捏造、提示注入抵抗這道底線非常穩,這是我最看重的指標。
2. 固定失分點高度一致(跨模型通病,非個別模型問題):
- Q01 負向限制詞(太陽能發電):最近 4 筆全部 0/3,回答中觸犯禁則詞「太陽/光/日」——負向約束(「不要講 X」)是目前最弱的環節
- Q03 多重字數約束:穩定 2/3,第 2 點漏掉數字「5」
- Q05 排程時間區間重疊:Q5_K_XL 與 nvfp4 各拿 1.5/3,Q4_K_XL 滿分——多排程推演有波動
3. 量化精度 vs 速度的取捨:
Hermes [機器人]12:49- Q5_K_XL(目前載入):93.5 分、74 tok/s——品質與 Q4_K_XL 的 95 分僅差 1.5 分,換來更高量化精度,值得
- nvfp4:93.5 分但速度 89.8 tok/s、TTFT 18.4s,是「品質接近 + 速度最快」的均衡型
- TurboFCFusion:唯一 100 分滿分傳奇,但 46.7 tok/s 速度明顯較慢,適合離線高難度任務而非日常對話
4. 結論:目前載入的 Q5_K_XL 屬於第一梯隊(93.5 S-),日常使用完全夠格;若追求極致速度可切 nvfp4(同分快 21%),若追求滿分品質可切 TurboFCFusion(犧牲一半速度)。
[
44.8k
98.1%
17(1.8s)
️15(2.2s)
23.2s 🧠34.3s
️43.3s
️104.8s
106.4 t/s] -
-
27B Q5_K_XL 使用體感品質好嗎?
差別不大,覺得是HERMES小秘書要優化才行。Llama.Cpp+TurboFCFusion-NEO-CODER-MAX-MTP-Q4_K_M
這個很久沒開了,完STRATA之前我是用這個,試了很久才試出來的,但我覺得這個有點不受控,我覺得他造假,還有考卷我又加個一些,就HSERMES近期發生的錯誤,沒有考這個模型,QNF-DQ8高1分但調用步驟兩步,27B Q5_K_XL跑了五步,才找到考卷。還有,Qwen3.8-FN-NVFP4-DQ8 + Basalt,可玩性高一點,冷啟動50~80,和我熟了就都100~140,好怪也沒有看到出錯,早上跑LLAMA.CPP+27B Q5_K_XL,一直出問題,晚上回家又換回Qwen3.8-FN,這次用DQ8的,明天工作跑比較真實。
剛剛修程式,看到終端跳出快破200tok/s,趕快開UI看一下!!
這張截圖是本地端 AI 推論引擎(basalt serve)在處理對話時的即時運作日誌,主要顯示了讀取速度與生成文字速度(單位
t/s代表每秒處理或生成的字詞片段數量,即 tokens/sec)。
畫面中的兩個核心速度指標如下:- 讀取提示詞速度 (
pp):227 ~ 240 t/s - 畫面中的
pp=20315/18655c 7.3s 227t/s,代表系統這次接收了約 20,315 個字詞的輸入(因為有快取命中hit=97.3%,實際只花了 7.3 秒就消化完畢,平均每秒處理 227 個字詞片段)。 - 生成回答速度 (
tg):平均 145.6 t/s - 畫面中的
tg=1903 145.6t/s,代表 AI 這次總共輸出了 1,903 個字詞片段,每秒平均吐出 145.6 個(剛開始時甚至衝到 189.4 t/s,全程穩定維持在 144 ~ 153 t/s 之間)。
其他關鍵狀態說明: ttft=7.3s:首字延遲時間,代表按下送出後,等了 7.3 秒才看到 AI 吐出第一個字(時間全花在前面消化 2 萬多字的長對話紀錄)。acc=69%:推測解碼(猜字加速機制)的命中率達 69%,這也是為什麼生成速度能高達 145 t/s 以上的主因。pcie=0.0%:代表所有模型資料都完全塞在顯示卡記憶體(VRAM)裡運算,完全沒有透過主機板通道去借用系統記憶體,效能發揮到了極致。
整體來說,在高達 2 萬多字的長對話上下文環境下,這個讀取與生成速度表現非常快且流暢。


- 讀取提示詞速度 (
-
27B Q5_K_XL 使用體感品質好嗎?
差別不大,覺得是HERMES小秘書要優化才行。Llama.Cpp+TurboFCFusion-NEO-CODER-MAX-MTP-Q4_K_M
這個很久沒開了,完STRATA之前我是用這個,試了很久才試出來的,但我覺得這個有點不受控,我覺得他造假,還有考卷我又加個一些,就HSERMES近期發生的錯誤,沒有考這個模型,QNF-DQ8高1分但調用步驟兩步,27B Q5_K_XL跑了五步,才找到考卷。還有,Qwen3.8-FN-NVFP4-DQ8 + Basalt,可玩性高一點,冷啟動50~80,和我熟了就都100~140,好怪也沒有看到出錯,早上跑LLAMA.CPP+27B Q5_K_XL,一直出問題,晚上回家又換回Qwen3.8-FN,這次用DQ8的,明天工作跑比較真實。
剛剛修程式,看到終端跳出快破200tok/s,趕快開UI看一下!!
這張截圖是本地端 AI 推論引擎(basalt serve)在處理對話時的即時運作日誌,主要顯示了讀取速度與生成文字速度(單位
t/s代表每秒處理或生成的字詞片段數量,即 tokens/sec)。
畫面中的兩個核心速度指標如下:- 讀取提示詞速度 (
pp):227 ~ 240 t/s - 畫面中的
pp=20315/18655c 7.3s 227t/s,代表系統這次接收了約 20,315 個字詞的輸入(因為有快取命中hit=97.3%,實際只花了 7.3 秒就消化完畢,平均每秒處理 227 個字詞片段)。 - 生成回答速度 (
tg):平均 145.6 t/s - 畫面中的
tg=1903 145.6t/s,代表 AI 這次總共輸出了 1,903 個字詞片段,每秒平均吐出 145.6 個(剛開始時甚至衝到 189.4 t/s,全程穩定維持在 144 ~ 153 t/s 之間)。
其他關鍵狀態說明: ttft=7.3s:首字延遲時間,代表按下送出後,等了 7.3 秒才看到 AI 吐出第一個字(時間全花在前面消化 2 萬多字的長對話紀錄)。acc=69%:推測解碼(猜字加速機制)的命中率達 69%,這也是為什麼生成速度能高達 145 t/s 以上的主因。pcie=0.0%:代表所有模型資料都完全塞在顯示卡記憶體(VRAM)裡運算,完全沒有透過主機板通道去借用系統記憶體,效能發揮到了極致。
整體來說,在高達 2 萬多字的長對話上下文環境下,這個讀取與生成速度表現非常快且流暢。


- 讀取提示詞速度 (
-
27B Q5_K_XL 使用體感品質好嗎?
差別不大,覺得是HERMES小秘書要優化才行。Llama.Cpp+TurboFCFusion-NEO-CODER-MAX-MTP-Q4_K_M
這個很久沒開了,完STRATA之前我是用這個,試了很久才試出來的,但我覺得這個有點不受控,我覺得他造假,還有考卷我又加個一些,就HSERMES近期發生的錯誤,沒有考這個模型,QNF-DQ8高1分但調用步驟兩步,27B Q5_K_XL跑了五步,才找到考卷。還有,Qwen3.8-FN-NVFP4-DQ8 + Basalt,可玩性高一點,冷啟動50~80,和我熟了就都100~140,好怪也沒有看到出錯,早上跑LLAMA.CPP+27B Q5_K_XL,一直出問題,晚上回家又換回Qwen3.8-FN,這次用DQ8的,明天工作跑比較真實。
剛剛修程式,看到終端跳出快破200tok/s,趕快開UI看一下!!
這張截圖是本地端 AI 推論引擎(basalt serve)在處理對話時的即時運作日誌,主要顯示了讀取速度與生成文字速度(單位
t/s代表每秒處理或生成的字詞片段數量,即 tokens/sec)。
畫面中的兩個核心速度指標如下:- 讀取提示詞速度 (
pp):227 ~ 240 t/s - 畫面中的
pp=20315/18655c 7.3s 227t/s,代表系統這次接收了約 20,315 個字詞的輸入(因為有快取命中hit=97.3%,實際只花了 7.3 秒就消化完畢,平均每秒處理 227 個字詞片段)。 - 生成回答速度 (
tg):平均 145.6 t/s - 畫面中的
tg=1903 145.6t/s,代表 AI 這次總共輸出了 1,903 個字詞片段,每秒平均吐出 145.6 個(剛開始時甚至衝到 189.4 t/s,全程穩定維持在 144 ~ 153 t/s 之間)。
其他關鍵狀態說明: ttft=7.3s:首字延遲時間,代表按下送出後,等了 7.3 秒才看到 AI 吐出第一個字(時間全花在前面消化 2 萬多字的長對話紀錄)。acc=69%:推測解碼(猜字加速機制)的命中率達 69%,這也是為什麼生成速度能高達 145 t/s 以上的主因。pcie=0.0%:代表所有模型資料都完全塞在顯示卡記憶體(VRAM)裡運算,完全沒有透過主機板通道去借用系統記憶體,效能發揮到了極致。
整體來說,在高達 2 萬多字的長對話上下文環境下,這個讀取與生成速度表現非常快且流暢。


- 讀取提示詞速度 (
-
我都排隊不用併發,昨天的問題也找到了,小改重編譯沒有改好,圖片辨識造成的多方問題,
~~~
剛剛更新 basalt 0.4.1後,重編譯後,連測三次:**我的是精簡版(依造我的硬體優化)**總感覺測速有點怪,改天再來檢查~~
Qwen3.8-FN-NVFP4-DQ8 @ basalt 0.4.1|回測 16K:3/3 成功,平均 117.21 tok/s三方對比總表:
測序 項目 R1 R2 R3 平均 tok/s 平均 TTFT ① 16K 首測 108.5 91.9 94.1 98.15 13.66 s ② 32K 121.3 127.9 127.5 125.54 19.72 s ③ 16K 回測 96.5 125.7 129.4 117.21 16.61 s 鐵證判讀:
- 穩定區間浮現:三輪的 R2/R3 成熟輪全部落在 125~129 tok/s(②的 127.9/127.5、③的 125.7/129.4),這才是 0.4.1 的真實火力。
- 首測 98 的低谷(91.9/94.1)已被回測高值(125+/129)物理推翻——同一模型、同一上下文、同一引擎,回測直接 +19.4%,佐證首測當下有短暫幹擾(GPU 競用或未熱機)。
- 對照 0.4.0 舊基準 119.70 tok/s:0.4.1 穩態約 125~129,不降反升,跨引擎疑慮正式排除
。 - 殘留觀察點:每輪 R1 仍有冷啟動懲罰(③的 R1 只有 96.5、TTFT 16.85s),TTFT 平均約 13~19 秒屬正常抖動範圍。




