虽然入手了 7900 xtx，但实测下来感觉算力发挥很不稳定。开 MTP 后 decode 确实可以达到 40-60 t/s，但 prefill 怎么也快不起来。无论 rocm 还是 vulkan，prefill 速度相当不稳定，哪怕是长段 prompt 最多也就 500+ t/s，常常只能跑到 300+ t/s。

一直手痒想试试极限丐版 24GB 双 3060，正好这几天以合理的价格淘到了第二张。话不多说，拆掉 7900 xtx，上机实测。

测试配置

• 测试平台：i7 4770k + 技嘉 GA-Z87MX-D3H
  • 相当古董的平台了，用了十多年。值得注意的是它支持 SLI，两条主 PCIE 插槽同时使用时等效于两条 PCIE 3.0 x8 插槽。较新的主板似乎很少有这种分配，但不少会有一条满速 PCIE 5.0 x16 加一条 PCIE 4.0 x4。总所周知 PCIE 4.0 x4 等效于 PCIE 3.0 x8。所以这个平台跑双卡的 PCIE 条件和较新的主板其实是相同的。
  • 显示器插主板用集显
• 系统：Kubuntu 24.04
• CUDA: 13.2
• 模型：
  • unsloth/Qwen3.6-27B-MTP-GGUF
  • unsloth/Qwen3.6-27B-GGUF
• 量化：Qwen3.6-27B-Q4_K_S.gguf
• 软件：llama.cpp 5/25/2026 master 自行编译 CUDA 版本，官方没有预编译Linux CUDA版本下载
  • 前置安装 sudo apt install nvidia-cuda-toolkit
• 配置（详细配置见帖子最后）：
  • tensor parallel -sm tensor -ts 1,1
  • -sm tensor 和 -ctk -ctv 没法同时开，也就是无法量化 kv cache，只能开到 64k 上下文。我一般需要开 160k 上下文，这就有点难受了（更新：打上补丁可以开到 128k 上下文）
  • --spec-type draft-mtp --spec-draft-n-max 1 这个配置比较稳定，--spec-draft-n-max 2 很容易跑一段时间后因为瞬时显存消耗过大 OOM。

实测记录

2.16.262.271 I slot print_timing: id  0 | task 701 | prompt eval time =    3056.70 ms /  1394 tokens (    2.19 ms per token,   456.05 tokens per second)
2.16.262.276 I slot print_timing: id  0 | task 701 |        eval time =   22538.95 ms /   975 tokens (   23.12 ms per token,    43.26 tokens per second)
2.16.262.277 I slot print_timing: id  0 | task 701 |       total time =   25595.65 ms /  2369 tokens
2.16.262.291 I slot print_timing: id  0 | task 701 |    graphs reused =       1016
2.16.262.292 I slot print_timing: id  0 | task 701 | draft acceptance = 0.77618 (  593 accepted /   764 generated)
2.16.262.310 I statistics        draft-mtp: #calls(b,g,a) =   10   1038   1038, #gen drafts =   1038, #acc drafts =   959, #gen tokens =   2076, #acc tokens =  1792, dur(b,g,a) = 0.018, 8380.839, 3.772 ms
2.16.263.267 I slot      release: id  0 | task 701 | stop processing: n_tokens = 12343, truncated = 0

可以看到，在 12k 的实际上下文长度下，pp 456.05 t/s，tg 43.26 t/s。初始速度甚至高达 pp 600+ t/s，tg 50 t/s。这个速度大大超出了我的预料。虽然没有 7900 xtx 的最大速度快，但速度极其稳定，GPU 占用率长时间稳定 100%，不得不说还是 CUDA 成熟。

另外，关闭 MTP 后 context 可以开到 96k，pp 速度更快，tg 速度下降到 31 t/s，也相当不错了。

总结

优点

• 性价比极高，目测闲鱼 3000 以内能够搞定。
• CUDA 生态完善，GPU 占用率长时间稳定 100%，编译完成后不用折腾，省心。
• 3060 身材苗条，有单、双风扇短版，大部分 ATX 和 mATX 主板、机箱都无压力。

缺点

• SPLIT_MODE_TENSOR 暂时无法使用 kv cache 量化，导致 24GB 仍稍显不足。但这肯定不是小众需求，简单 q8 也能翻倍到 128k / 192k，未来可期。一旦 kv 量化解决，我就可以把 7900 xtx 淘汰了。

推论

• 双 16GB、速度稍快的卡，比如 4060Ti、5060Ti，虽然性价比会下降，但效果只会更好。还是那句话，CUDA 发挥稳定，省心。同样是 32GB，比跛脚 AI PRO R9700 肯定快得多，价格还稍低。
• 更新：外网有人根据本帖配置用双 5060Ti 跑出 pp 700 t/s, tg 65 t/s。

其它

• vllm 也有简单尝试，但 vllm 可能是对 VRAM 紧张的场景优化不佳，怎么跑都 OOM。且 vllm 启动太慢了，调试麻烦，不折腾了。

附录

详细配置

    --no-mmproj-offload \
    -dev CUDA0,CUDA1  -sm tensor -ts 1,1 \
    --fit off \
    --host 0.0.0.0 --port "$PORT" \
    -t 0 -ngl 99 -np 1 \
    --kv-unified --flash-attn on --ctx-size 64000 \ # 或 96000
    --spec-type draft-mtp --spec-draft-n-max 1 \ # 或去掉
    -rea on \
    --temp 0.6 --top-k 20 --top-p 0.95 --min-p 0.0 --repeat-penalty 1.0 --presence-penalty 0.0

虽然入手了 7900 xtx，但实测下来感觉算力发挥很不稳定。开 MTP 后 decode 确实可以达到 40-60 t/s，但 prefill 怎么也快不起来。无论 rocm 还是 vulkan，prefill 速度相当不稳定，哪怕是长段 prompt 最多也就 500+ t/s，常常只能跑到 300+ t/s。

一直手痒想试试极限丐版 24GB 双 3060，正好这几天以合理的价格淘到了第二张。话不多说，拆掉 7900 xtx，上机实测。

测试配置

• 测试平台：i7 4770k + 技嘉 GA-Z87MX-D3H
  • 相当古董的平台了，用了十多年。值得注意的是它支持 SLI，两条主 PCIE 插槽同时使用时等效于两条 PCIE 3.0 x8 插槽。较新的主板似乎很少有这种分配，但不少会有一条满速 PCIE 5.0 x16 加一条 PCIE 4.0 x4。总所周知 PCIE 4.0 x4 等效于 PCIE 3.0 x8。所以这个平台跑双卡的 PCIE 条件和较新的主板其实是相同的。
  • 显示器插主板用集显
• 系统：Kubuntu 24.04
• CUDA: 13.2
• 模型：
  • unsloth/Qwen3.6-27B-MTP-GGUF
  • unsloth/Qwen3.6-27B-GGUF
• 量化：Qwen3.6-27B-Q4_K_S.gguf
• 软件：llama.cpp 5/25/2026 master 自行编译 CUDA 版本，官方没有预编译Linux CUDA版本下载
  • 前置安装 sudo apt install nvidia-cuda-toolkit
• 配置（详细配置见帖子最后）：
  • tensor parallel -sm tensor -ts 1,1
  • -sm tensor 和 -ctk -ctv 没法同时开，也就是无法量化 kv cache，只能开到 64k 上下文。我一般需要开 160k 上下文，这就有点难受了
  • --spec-type draft-mtp --spec-draft-n-max 1 这个配置比较稳定，--spec-draft-n-max 2 很容易跑一段时间后因为瞬时显存消耗过大 OOM。

实测记录

2.16.262.271 I slot print_timing: id  0 | task 701 | prompt eval time =    3056.70 ms /  1394 tokens (    2.19 ms per token,   456.05 tokens per second)
2.16.262.276 I slot print_timing: id  0 | task 701 |        eval time =   22538.95 ms /   975 tokens (   23.12 ms per token,    43.26 tokens per second)
2.16.262.277 I slot print_timing: id  0 | task 701 |       total time =   25595.65 ms /  2369 tokens
2.16.262.291 I slot print_timing: id  0 | task 701 |    graphs reused =       1016
2.16.262.292 I slot print_timing: id  0 | task 701 | draft acceptance = 0.77618 (  593 accepted /   764 generated)
2.16.262.310 I statistics        draft-mtp: #calls(b,g,a) =   10   1038   1038, #gen drafts =   1038, #acc drafts =   959, #gen tokens =   2076, #acc tokens =  1792, dur(b,g,a) = 0.018, 8380.839, 3.772 ms
2.16.263.267 I slot      release: id  0 | task 701 | stop processing: n_tokens = 12343, truncated = 0

可以看到，在 12k 的实际上下文长度下，pp 456.05 t/s，tg 43.26 t/s。初始速度甚至高达 pp 600+ t/s，tg 50 t/s。这个速度大大超出了我的预料。虽然没有 7900 xtx 的最大速度快，但速度极其稳定，GPU 占用率长时间稳定 100%，不得不说还是 CUDA 成熟。

另外，关闭 MTP 后 context 可以开到 96k，pp 速度更快，tg 速度下降到 31 t/s，也相当不错了。

总结

优点

• 性价比极高，目测闲鱼 3000 以内能够搞定。
• CUDA 生态完善，GPU 占用率长时间稳定 100%，编译完成后不用折腾，省心。
• 3060 身材苗条，有单、双风扇短版，大部分 ATX 和 mATX 主板、机箱都无压力。

缺点

• SPLIT_MODE_TENSOR 暂时无法使用 kv cache 量化，导致 24GB 仍稍显不足。但这肯定不是小众需求，简单 q8 也能翻倍到 128k / 192k，未来可期。一旦 kv 量化解决，我就可以把 7900 xtx 淘汰了。更新：经 @kop-wang 提醒，回退到 PR#22616 之前，打上 PR#23225 补丁，开 MTP 可以开到 128k 上下文。

推论

• 双 16GB、速度稍快的卡，比如 4060Ti、5060Ti，虽然性价比会下降，但效果只会更好。还是那句话，CUDA 发挥稳定，省心。同样是 32GB，比跛脚 AI PRO R9700 肯定快得多，价格还稍低。
• 更新：外网有人根据本帖配置用双 5060Ti 跑出 pp 700 t/s, tg 65 t/s。
• 主要是 SPLIT_MODE_TENSOR 立功了。但凡双 N 卡的，最小超过 12 GB 的，统统都可以尝试。

其它

• vllm 也有简单尝试，但 vllm 可能是对 VRAM 紧张的场景优化不佳，怎么跑都 OOM。且 vllm 启动太慢了，调试麻烦，不折腾了。

附录

详细配置

    --no-mmproj-offload \
    -dev CUDA0,CUDA1  -sm tensor -ts 1,1 \
    --fit off \
    --host 0.0.0.0 --port "$PORT" \
    -t 0 -ngl 99 -np 1 \
    --kv-unified --flash-attn on --ctx-size 64000 \ # 或 96000
    --spec-type draft-mtp --spec-draft-n-max 1 \ # 或去掉
    -rea on \
    --temp 0.6 --top-k 20 --top-p 0.95 --min-p 0.0 --repeat-penalty 1.0 --presence-penalty 0.0