@fantasy2026 说:

@ydm llama.cpp你是用日更版，还是0.3.0正式版

使用日更版本的：llama-b10635-bin-win-cuda-13.3-x64
我沒有每日更新版本，因為有時後會變差，所以我用HERMES天天幫我看幫我分析，是否要更新測試：

Hermes [機器人]19:32
【llama.cpp 有新 build】
舊版本：b10647 → 新版本：b10666（2026-08-28）
https://github.com/ggml-org/llama.cpp/releases/tag/b10666

中間 19 筆 commit 重點：

• 模型：簡化 MiniMax-01 的計算圖 (#27790)
• 投機解碼：新增僅供 benchmark 使用的合成 speculative acceptance 選項 (#27711)
• UI：將「每對話 MCP 覆寫」改為「每對話 tool policy」(#27745)
• 轉檔：修復 Nemotron-H LoRA 的 GGUF 轉換問題 (#27356)
• UI：改善 Chat Form Actions 的 UI/UX（模型選擇器、新增面板）(#27746)
• llama：model_loader 新增 TENSOR_READ_LAZY（延遲讀取張量）(#27794)
• 開發工具：pr2wt 依 base 選擇 ssh/https remote 建立 worktree (#27800)
• 功能：Vulkan 後端新增 Deepseek V4 運算的 LIGHTNING_INDEXER 支援 (#27453)
• 量化：限制 quantize 工作記憶體上限，避免大張量被載入 RAM (#27795)
• OpenCL：新增 MoE 二進位運算 kernel（q4_0/q8_1、mxfp4/q8_1 dp4a bin）(#27768)
• 投機解碼：新增 DFlash2 支援（local convolution + candidate selector）(#27342) (#27816)
• CI：Windows ROCm 發行版隨附 HIP runtime DLL (#26973)
• 模型：新增 Qwen3.8-Flash-Next (qwen4exp) 支援 (#27742)
• CI：windows-rocm 發行版只編譯 ggml-hip 後端 (#27753)
• server：新增 ctx-per-slot 參數（--kv-unified-per-slot）(#24124)
• Hexagon：修復 RMS_NORM_MUL 在 grouped/broadcast norm 的 weight-offset bug (#27798)
• ggml-hexagon：HTP 新增 ABS 與 LOG 單元運算 (#27786)
• 模型：Nemotron3.5 新增 DSpark 支援 (#27804)
• 測試：test-save-load-state 擴充至所有架構 (#27755)

更新建議：️ 不急更新

• 相關：#27742 新增 Qwen3.8-Flash-Next 模型支援（Qwen 家族新功能，非現有 27B 的修復）；#24124 server 新增 --kv-unified-per-slot（多 slot 場景才用得上）
• 無關：Vulkan/OpenCL/Hexagon/ROCm、UI、CI、Nemotron/MiniMax/Deepseek 模型支援等
• 結論：本次沒有 CUDA 或 Qwen 27B 的 bug fix／效能提升，現有環境不受影響；若想試 Qwen3.8-Flash-Next 新模型再考慮更新。

@fcme 说:

没有测试这一套的长输入，比如16/32/64K输入下的prefill速度么？相比单卡5070ti有提升吗？

實測結果（2026-08-25 第二十七次）

短基準：73.07 tok/s、TTFT 0.56s（落在歷史 72~77 正常區間，證明沒被污染）

大輸入測試：

最終整合結果（2026-08-25 第二十七次）

短基準：75.74 tok/s、TTFT 0.63s（落在 72~77 正常區間，穩定健康）

大輸入測試（各 3 輪）：

解讀：

• TTFT（首字延遲）近乎線性翻倍：16K 14.8s → 32K 29.1s（×1.96）→ 64K 62.4s（×2.14）。64K 要等約 1 分鐘才出首字，這是 prefill 的物理成本。

• 生成速度隨 context 變大而下降：16K 86.3 → 32K 69.0 → 64K 54.6 tok/s（KV cache 越大 attention 計算越重）。

• 單卡Qwen3.8-27B-UD-Q5_K_XL.gguf 裝不下!!

@罗冰寒 说:

你这是真快啊。。。

• **是 llama.cpp 底層又默默變強了。雙卡玩家記得一定要對稱等分（1:1）、注意 PCIe 頻寬、且多模態上下文能開大就開大，才能跑得穩又跑得快！

個性化風格 正妹、美女、御姐、很重要說三次~~

把你想要的都寫上去(工作、食、衣、住、行.......)萬能的助理(女)，再去線上AI幫你優化，你會覺得你的AI AGNET 變強大!!!

跑題了!!~~~

我都沒想到要用女AI, 我都設置男的
我來弄一個美女AI試試看

账给你算清楚：

• 4070 Ti S ≈ 672 GB/s（256-bit GDDR6X），5060 Ti 16G ≈ 448 GB/s（128-bit GDDR7），合计 ~1120 GB/s。
• tensor split 时每一层都要等两张卡都算完，有效带宽 ≈ 2×448 = 896 GB/s。Q4_K_M 27B 权重 ~16.5GB，理论解码 ~54 tok/s，实际 40~50。
• 对比双 5070 Ti（每卡 896 GB/s）那套实测的 74.6 tok/s，这组合大概六到七折，日常用完全够。

两个提示：

1. 别默认对半分，--tensor-split 0.6,0.4 让 4070 Ti S 多扛点行数，跟着带宽比例走，能再挤几个 tok/s。
2. 实话实说：速度瓶颈在 5060 Ti 这半边，加 4070 Ti S 的收益更多在显存容量和量化精度（Q4_K_M vs IQ4_XS），解码速度别期待翻倍。

跨代混卡（Ada + Blackwell）llama.cpp 原生支持，tensor split 走 PCIe，不需要 NVLink，放心上。

幫你把帳算清楚：

• 5070 Ti 單卡 GDDR7 帶寬約 896 GB/s（256-bit），兩卡合計 ~1.79 TB/s。
• Q5_K_XL 的 27B 權重大概 19GB 出頭，加上 mmproj 和 KV cache，tensor split 後每卡每 token 要搬 ~10GB 權重。理想上限約 90 tok/s，實測 74.6 ≈ 八成效率——對「PCIe 3.0 x8 + tensor split 每層 all-reduce + MTP 投機解碼 + -pl 266」這個組合來說，已經是正常偏好的數字。
• 交叉驗證：單張 7900XTX（960 GB/s）跑同一個 Qwen3.8-27B 也就 73.4 t/s（TID:1164 那篇實測）。雙 5070 Ti 落在同一區間，說明瓶頸是 decode 階段的帶寬/開銷結構，不是你的啟動參數沒調好。

剩下真正有意義的旋鈕只有兩個：

1. 換 Q4_K_M 量化（權重 ~15GB），理論上能再快 5~8%，代價是精度略降；
2. 留意啟動日誌裡 MTP 的 draft accepted 統計——如果接受率偏低，投機解碼其實在空轉，關掉 MTP 說不定更穩。

但說實話，75 → 80 tok/s 的收益對日常使用幾乎無感，不值得為這 5% 再燒十幾輪測試。這組數據已經很漂亮了。

本次測速（第十五次）

解讀

• 跟上一輪（75.47）持平（-1.1%）。
• 連續四輪：75.52 → 74.95 → 75.47 → 74.63，全部鎖死在 74~75 tok/s，波動不到 1%。

加大版測速完成，每輪實際生成 659~712 tokens（之前只有 130~198），速度穩定在 75 tok/s。
Hermes [機器人]18:51
已加大並測完。

加大版測速結果（每輪上限 300 → 1000 tokens，要求約 800 字散文）

重點：每輪實際生成的 token 數從 ~150 拉到 ~680，測速更貼近「長輸出」的真實速度。結果顯示速度穩定在 75 tok/s，沒有因為輸出變長而掉速，說明你的 MTP 投機解碼 + Flash Attention 在長生成下依然穩定。

@YDM said:

GPU：雙 RTX 5070 Ti（tensor split 1,1）
電源限制：雙卡 -pl 266
模型：Qwen3.8-27B-UD-Q5_K_XL.gguf
多模態：mmproj-Qwen3.8-27B-f16.gguf

沒想到Q5精度可以跑這麼快

本地 LLM 測速分享｜Qwen3.8-27B 雙卡 76 tok/s

測速結果

3 輪串流請求、max 300 tokens、enable_thinking=False、temperature 0.5 量測。

️ 硬體環境

• CPU ： Intel Core i9-9900K
• GPU ： 雙 RTX 5070 Ti（tensor split 1,1）
• 記憶體 ： DDR4 128GB (32*4)
• PCIe： 雙 PCIe 3.0 x8
• 電源限制：雙卡 -pl 266
• 模型：Qwen3.8-27B-UD-Q5_K_XL.gguf
• 多模態：mmproj-Qwen3.8-27B-f16.gguf

️ 啟動參數（llama-server）

bat
@echo off
chcp 65001 >nul

set "MY_PATH=D:\llama_cuda_13_3"

echo ==================================================
echo [INFO] Setting GPU Power Limit...
echo ==================================================
nvidia-smi -i 0 -pl 266
nvidia-smi -i 1 -pl 266
timeout /t 2 >nul

cd /d "%MY_PATH%"

llama-server.exe ^
-m "models\Qwen3.8-27B-UD-Q5_K_XL.gguf" ^
--mmproj "models\mmproj-Qwen3.8-27B-f16.gguf" ^
--split-mode tensor ^
--tensor-split 1,1 ^
--main-gpu 0 ^
--spec-type draft-mtp ^
--spec-draft-ngl 999 ^
--spec-draft-n-max 2 ^
--spec-draft-p-min 0 ^
--ctx-size 131072 ^
-b 2048 ^
-ub 512 ^
-ngl 999 ^
-t 16 ^
-fa on ^
--cache-type-k q8_0 ^
--cache-type-v q8_0 ^
-cb ^
-np 1 ^
--jinja ^
--chat-template-kwargs "{"reasoning_effort":"low"}" ^
--host 0.0.0.0 ^
--port 8080 ^
--temp 0.2 ^
--top-p 0.7 ^
--top-k 20 ^
--min-p 0.08 ^
--samplers "top_k;top_p;min_p;temperature" ^
--repeat-penalty 1.05

pause

參數重點說明

Hermes [機器人]17:57

抱歉，初学者没有发帖经验，下次我会按照提醒格式化文档输出后再PO文。