完整对比：

结论：threads=28 是最优（14 物理核 × 2 SMT，让部分兄弟核帮忙分摊访存延迟，但不全开）。

更新一下： 调了一下内存时序， 超频了一下， 也用了 3600， 但是发现并没有什么帮助， decode也没有更快。 看来内存不是瓶颈。 另外再问一下， 你的 prefill 速度是多少？

@Ben-Lee 说:

内存和你一模一样 128 GB DDR4 3200

不是3200么？ 测出3600？ 超频用了？

1 线程: 9.3 GB/s
2 线程: 23.3 GB/s
4 线程: 36.0 GB/s
8 线程: 53.4 GB/s ← 峰值

AI计算过程

DSF 10B active params @ ~4bit量化 ≈ 5 GB/token
53.4 GB/s 除以 5GB/token → 11 tok/s 左右 (理论上限)

我实测最高到12 tok/s

1、用的是 llama.cpp , dspark 加速
2、Q4 用的就是unsloth的原版 UD Q4 KL 模型， 166G
3、几乎占满了， 都是22G多， 多少层没仔细看，因为draft也弄到显存了，PLE表肯定是在内存， 内存几乎用满了，128G一度达到98%
4、10-11tok/s 对应 1024 context, 又跑了几次长程， 基本就是7-9左右了。

我也想知道有没有别的方法能继续加速， 能超过15我就很满足了。

1. 用的是 llama.cpp、DwarfStar 还是其他推理引擎？
2. Q4 模型具体是哪个 GGUF 版本？文件有多大？
3. 双 3090 分别占用了多少显存？CPU Offload 了多少层？有没有用 --n-cpu-moe？
4. 10–11 tok/s 对应多长的 Context？

我也想研究这条路线。

1. 先量再换：用 llama-bench 把 pp（prefill）和 tg（decode）分开跑，确认 DeepSeek V4 Flash Q4 现在卡在哪一段。10–11 t/s 对这类模型，多半是权重没全进显存、专家层在 CPU 上跑，而不是算力不够。

2. 48GB 显存怎么放：如果是 MoE，用 --n-cpu-moe N 只把一部分专家放 CPU（从多到少试），attention/dense 层留 GPU；纯 dense 大模型 48GB 塞不下就别硬塞，Q4 也塞不下。同时开 --flash-attn，KV 用 --cache-type-k q8_0 --cache-type-v q8_0，能省大约一半 KV 显存，给权重腾地方。

3. 内存先别掉链子：128G DDR4-3200 在 3950X 上插满 4 条通常会掉到 2933/2666，先 dmidecode -t memory | grep -i "Configured Memory Speed" 看实际频率。掉频的话，把内存稳在 3200（比换主板便宜得多）比换板更值。

4. X570 的 x16+x4 是真瓶颈：第二条物理 x16 槽只有 CPU x4 走线，双卡各跑各的、做不了 TP。williamlouis 说的 BIOS 拆 x8/x8 是首选——先更新到最新 BIOS，再看 Advanced → Onboard Devices Configuration → PCIEX16_1 Bifurcation，改成 X8/X8；但 TUF X570 是否物理支持要看你具体板型和 BIOS，拆不了再谈换板。别为 P2P 折腾——X570 同样有 ACS 挡着，双 3090 想要低延迟 all-reduce 只有 NVLink（3-slot 桥，约 ¥2300），换 X99 或 Gen4 板子的收益都不如它；要换就按"先 NVLink、后主板"排。

5. 发热：220W/卡 + 前下进后上出 + 限功耗方向对，3090 显存 85°C 可接受但别再往上，核心热点温度用 nvidia-smi -q -d TEMPERATURE 看。

一句话：先把 V4 Flash 的 pp/tg 测出来、把专家 offload 和 KV 量化调对，再决定换不换板；真要花钱，NVLink 优先。