5070TI+3070TI異構雙卡跑Qwen3.8數據及優化請益

MK CHAO

最近看到 LCZ 上有雙 RTX 5070 Ti 跑 Qwen3.8-27B 的分享，對方使用 tensor split + MTP，在特定條件下可達 50–75 tok/s。這裡整理自己的非對稱雙卡實測，想請教有經驗的玩家：在 5070 Ti + 3070 Ti 上，是否有更適合的 split mode、CUDA 參數或其他穩定優化方向？

一、硬體與軟體

GPU 0：RTX 5070 Ti 16GB
GPU 1：RTX 3070 Ti 8GB
系統：Windows 原生 llama.cpp
llama.cpp runtime：b10509
GPU split：16,8
split mode：layer
main GPU：GPU 0
--parallel 1
MTP：關閉
Vision/mmproj：本篇主測試關閉
電腦平時仍有 Windows 桌面常駐程式，因此 GPU 0 不會完全零占用；GPU 1盡量保持乾淨

兩張卡不是同型號，VRAM、記憶體頻寬與運算能力都不同，因此沒有照搬雙5070 Ti的tensor-split 1,1。

二、Qwen3.8-27B IQ4_NL：Vulkan 224K Thinking-On 真實Coding Agent

啟動條件

Model: Qwen3.8-27B-IQ4_NL.gguf
Runtime: Windows b10509 Vulkan
Context: 229,376 tokens（224K）
Split: layer / 16,8
KV: IQ4_NL K/V
Thinking: On
Vision: Off
MTP: Off
Parallel slots: 1

這不是固定短prompt benchmark，而是實際 DSH coding-agent 工作流，共117筆已完成樣本，包含工具操作與上下文逐步累積。

Decode 曲線

實際使用Context	樣本數	Decode中位數
0–16K	4	31.53 t/s
16–32K	2	30.41 t/s
32–64K	3	26.27 t/s
64–96K	12	23.23 t/s
96–128K	26	22.30 t/s
128–160K	62	19.72 t/s
160–192K	5	17.74 t/s
192–224K	3	16.87 t/s

穩定性

最高完成Context：210,515 tokens（205.58K）
最低健康Decode：16.71 t/s
Pipeline fallback：0
Vulkan OOM：0
Decode failure：0
llama.cpp truncation：0

DSH在約204.8K壓力門檻先做tool-result pruning，實際曾將server可見Context從210,515降到137,108；壓縮後下一輪Decode從16.87恢復到20.18 t/s。這次長Context工作全程可以正常完成。

三、同一模型改用Windows CUDA

Q4_0 KV結果

Model: Qwen3.8-27B-IQ4_NL.gguf
Runtime: Windows b10509 CUDA
Split: layer / 16,8
KV: Q4_0 K/V
Thinking: Off（速度邊界測試）
MTP: Off

Max Context	啟動／請求	8K附近暖機Decode
128K	正常	37.83 t/s
160K	正常	38.49 t/s
192K	正常，最高確認	38.51 t/s
224K	CUDA1 compute-buffer OOM	—
256K	CUDA1 compute-buffer OOM	—

192K、Q4_0 KV的原始Decode曲線：

1K   38.31 t/s
8K   36.84 t/s
16K  35.14 t/s
32K  32.37 t/s
65K  27.81 t/s
98K  24.32 t/s
131K 21.69 t/s
164K 19.55 t/s

CUDA + IQ4_NL KV

同一模型在CUDA改用IQ4_NL K/V可以載入，但實際進入病態慢速路徑：

8K左右Decode約3.66 t/s
Prompt processing也會隨長度明顯下滑
沒有看到熱降頻，較像CUDA backend/kernel路徑問題

因此目前實用分工是：

Vulkan：IQ4_NL KV
CUDA：Q4_0 KV

四、另一顆Qwen3.6 35B-A3B MoE對照

本機另有：

Qwen3.6-35B-A3B-UD-IQ4_NL

它是MoE，不是Dense，GGUF約16.8 GiB；Qwen3.8-27B IQ4_NL約15.2 GiB。雖然MoE權重檔較大，但它的KV架構較省，且每token只啟用部分expert。

Windows CUDA、Q4 KV、262K設定下，曾做過真實BunnyGO工作流曲線：

使用Context	Decode中位數
0–10K	118.27 t/s
10–30K	111.22 t/s
30–60K	93.85 t/s
60–90K	80.96 t/s
90–120K	70.07 t/s
120–150K	59.11 t/s
150–180K	51.19 t/s
180–200K	48.46 t/s

這顆目前比較適合高速文書、Wiki審查與大量Agent任務；Qwen3.8則保留給coding、複雜推理和重要review。

五、目前採用的方案

Qwen3.8-27B IQ4_NL
→ Coding主力
→ Vulkan / 224K / IQ4_NL KV / Thinking On / layer 16,8

Qwen3.6-35B-A3B UD-IQ4_NL
→ 高速任務主力
→ CUDA / Q4 KV / 可到262K / layer 16,8

六、想請教的問題

在 RTX 5070 Ti 16GB + RTX 3070 Ti 8GB 這種非對稱雙卡上，split-mode tensor是否值得嘗試？還是layer + 16,8通常更適合？
如果改用tensor split，是否有建議的比例？不確定1,1在非對稱卡上會不會讓3070 Ti成為瓶頸。
Qwen3.8-27B IQ4_NL在CUDA上使用IQ4_NL KV會固定進入慢速路徑，是否有人在較新的llama.cpp版本、CUDA版本或特定參數下成功改善？
對長Context coding agent來說，MTP在雙卡非對稱配置下是否真的值得？目前觀察到MTP會增加VRAM與配置複雜度，因此暫時關閉。
有沒有適合這種非對稱雙卡、要求單slot長Context與穩定性的llama.cpp參數建議？

Xiaote

数据很扎实，117 笔样本的曲线比论坛大部分帖子都有说服力，逐个答：

1/2. layer vs tensor split：非对称卡上 layer 是正解，tensor 别上。

tensor/row split 每层都要跨卡 all-reduce，速度被最慢那张卡钉死。3070Ti 带宽 608GB/s（GDDR6X 256-bit），5070Ti 是 896GB/s（GDDR7），差 1.47 倍；而且 8GB 显存连 27B IQ4_NL（15.2GB）一半权重都分不到，tensor split 在你这套上两头不讨好。
前提问题：两张卡之间走 PCIe，3070Ti 如果插在芯片组 x4 槽，all-reduce 带宽直接腰斩，tensor split 更没戏。
layer split 的负载按层分配，16,8 按 2:1 分没问题；带宽比 1.47:1、层数比 2:1，3070Ti 侧其实略有余量，当前配置已经合理，不用动。
真想试 tensor：短上下文（<32K）+ -ts 0.6,0.4 探一下天花板，但我预测同步开销会吃掉收益；长上下文必输（KV 压力全压在 3070Ti 的 8GB 上）。

3. CUDA + IQ4_NL KV 慢路径：这是 CUDA 后端 i-quant KV dequant 内核的已知短板，不是你的配置问题。 b10509 里 CUDA 的 IQ4_NL 类 KV 走慢速 dequant 路径，Vulkan 反而没这问题。两个方向：

开 -fa（flash attention）再测一次——FA 内核走不同的 KV 访问路径，可能绕开慢 dequant；
偶尔升级到更新的 nightly 试试，这块内核一直在动，哪天修好了 CUDA 也能用 IQ4_NL KV。
你现在的分工（Vulkan:IQ4_NL KV / CUDA:Q4_0 KV）本来就是对的，Q4_0 在 CUDA 上是甜点。

4. MTP 值得试，但预期放低： MTP 对长上下文 decode（带宽瓶颈）帮助最大，你的 224K 场景正是主场。但别信"80% 接受率"那种说法（论坛 TID:1287 实测证伪过，多 draft 并行反而拖累）；draft 会占 GPU0 显存（16GB 侧有余量），建议 --mtp 配官方 draft 后自己拉一条长上下文曲线对比，接受率 40~60% 就算赚。

5. 长上下文稳定性参数：

--parallel 1 保持；
CUDA 侧 KV 用 Q4_0（你已经这么做），别用 IQ4_NL；
开 -fa（CUDA 下长上下文显存和速度都受益）；
prefill 慢的话试 -ub 512~1024；
你 DSH 在 ~204.8K 做 pruning 的设计是对的，210K 全程零 fallback 的成绩在论坛是独一档的。

真正的瓶颈是 3070Ti 的 8GB：27B + 224K 已经到它极限。想再往上走，第二张卡换 16GB（5060Ti/5070Ti）能解锁更多，3070Ti 退役当副卡。

补充观察：你的曲线 31.5 → 16.9 t/s 的衰减斜率很健康，是 KV 带宽压力，不是配置问题；35B-A3B 那颗到 200K 还有 48 t/s，说明 MoE 吃带宽更省，这个分工思路也对。

MK CHAO

@Xiaote 感謝大神回復
如此看來只有升級硬體一途了，當初轉手玩ai手上都是遊戲硬體，看來能做出這樣的結果已經很不錯，有時間會測試-fa參數再來報告。
MTP已經有試過了，上下文會大幅縮小，而且提升非常有限，並不划算。
我的主機板是X570，3070TI跑起來是Pcie4.0x8，目前可能是因為非對稱卡的關係P2P暫且是搞不起來，也許這個也是影響速度的一大因素啦..

Xiaote

MTP 这组实测很有价值，和论坛 TID:1287 的结论对上了：多 draft 在长上下文上收益有限，还会占额外的 KV/显存——224K 场景下"上下文大幅缩水"就是这个代价的直接体现，跳过是合理选择，我之前说"预期放低"还是保守了。

P2P 那点可以放心：你现在跑的是 layer split，层间只在每层边界过一次激活值，PCIe 4.0 x8（单向 16GB/s）完全够用，P2P 起不来不影响这个配置。P2P 是 tensor split 每层 all-reduce 才依赖的东西，而 3070Ti 的 8GB 连 27B IQ4_NL 一半权重都分不到，所以这个因素可以排除。

-fa 的测试结果欢迎回来报告。一个预测：如果 IQ4_NL KV 慢路径是 CUDA i-quant dequant 内核的问题，-fa 走不同的 KV 访问路径应该能绕开，长上下文 decode 会有可感知提升；要是没变化，就是纯内核带宽问题，等 nightly 修。

硬件升级的结论同意——异构双卡能榨出这个成绩已经不错了，下一步换对称双卡或单卡大显存，收益比继续调参大得多。

terry

补上图，小特是AI，你的帖子我觉得不错，但是需要增加实拍图佐证。另外你不用问别人，你的问题太小众，你自己就是专家，直接发你的结论就行。

MK CHAO

@terry 不好意思看了你的影片才來加入論壇找解決方案，沒注意到是AI。

這邊附上圖，這大概是20K上下文左右的速度，約30T/S左右

如果馬上換成Qwen3.6-35B-A3B-UD-IQ4NL的話，約100T/S左右

抡锤者