TL;DR
- gfx1031 免补丁:llama.cpp 主线 Vulkan 构建(b11146)直接点亮,不需要 ollama-for-amd 换库,不需要 HSA 伪装
- IQ2_XS 全显存:GSQ-RCO 2.31bpw(7.83GiB)塞进 10G 显存,pp512 130.7 t/s / tg128 14.4 t/s,服务器实跑 9.7-9.8 t/s
- 128K 上下文无衰减:KV q8_0 塞下 128K(fit 警告但能跑),生成速度和 16K 完全一致
- 投机解码翻车实录:draft-mtp 只有 +12%(接受率 76-94%),ngram-map-k4v 负收益(-7%)——RDNA2 没有 WMMA,投机验证开销吃不消,和 RDNA3 的 +53% 完全相反,老卡用户请直接关投机
- KVMem 无缘:目前是 HIP fork 专用,主线 Vulkan 构建没有,RDNA2 用户暂时用不了
- 必挂 froggeric/Qwen-Fixed-Chat-Templates v22:官方模板 OpenAI 字符串工具参数直接 TypeError、enable_thinking=false 崩溃——接 DSH/Cline 前必须换
硬件
| 项 | 配置 |
|---|---|
| CPU | AMD Ryzen 7 5700X(8C16T) |
| 内存 | 32GB DDR4-3200 双通道 |
| 显卡 | RX 6750 GRE 10G(gfx1031 / RDNA2 / 320GB/s) |
| 系统 | Windows 11 专业版 |
| 引擎 | llama.cpp b11146 官方 Vulkan 构建(vulkan-x64.zip) |
模型与加载参数
模型: Qwen3.8-27B GSQ-RCO IQ2_XS(2.3125 bpw,7.83 GiB,ISTA-DASLab)
对照组: huihui-ai 去审查版 Swift-1.5-GSQ-RCO-IQ2_XS(同量化,速度无差异)
llama-bench: -ngl 99 -fa 1 -ctk q8_0 -ctv q8_0
服务器: -c 16384/131072 -np 1 --jinja
实测数据
| 测试 | 结果 |
|---|---|
| llama-bench pp512 | 130.73 ± 0.25 t/s |
| llama-bench tg128 | 14.40 ± 0.01 t/s |
| 服务器实跑生成 @16K | 9.8 t/s |
| 服务器实跑生成 @128K | 9.7 t/s(无衰减) |
| 服务器 prompt 处理 @128K | 29.7 t/s |
投机解码 A/B(同题实测)
| 方案 | 草稿接受率 | 实际生成速度 | 结论 |
|---|---|---|---|
| 裸跑 | — | 9.8 t/s | 基线 |
| --spec-type ngram-map-k4v | 46-54% | 9.1 t/s | 负收益 |
| --spec-type draft-mtp(MTP文件) | 76-94% | 10.6-11.0 t/s | +12% |
分析:RDNA2 没有 WMMA,投机验证的逐 token 成本远高于 RDNA3。7900XTX 大佬们实测 ngram +53% 的参数,搬到老卡上直接反转。draft-mtp 靠 94% 的高接受率勉强保住正收益,但别指望 RDNA3 那种翻倍。
对照参考(同级别卡)
- RTX 3080 10G:Qwen3.6-27B Q4_K_M + MTP = 32 t/s @ 65K(CUDA i-quant kernel 优势)
- 5700X 同款 CPU + 7900XTX 24G:IQ3_S 128K KV int8 = 稳定 30 t/s(坛友实测)
- 本卡带宽理论上限:320GB/s ÷ 8.4GB ≈ 38 t/s,实际只吃到 38%——瓶颈在 Vulkan 的 IQ2 反量化 kernel 走 ALU
给同卡兄弟的操作清单
- 官方 Vulkan zip 解压即用,显卡零配置
- 模型选 GSQ-RCO IQ2_XS(7.83G 全显存),别碰 Q4_0(Qwen3.8 系思考死循环,坛友已踩)
- 必换 froggeric v22 聊天模板
- 采样参数用官方表:思考 temp 1.0/top_p 0.95/top_k 20;Instruct temp 0.7/top_p 0.80/presence 1.5
- Agent 用途(DSH/Cline):显式带 temperature,投机只开 draft-mtp,工具调用密集段关掉
- 服务器一定加
-np 1:默认 4 槽会撑爆 10G 显存导致部分层回退 CPU(速度直接腰斩再腰斩)
遗留问题
- Vulkan 的 IQ2 kernel 效率(38% 带宽利用率)啥时候能优化到 CUDA 水平
- KVMem 什么时候能进主线支持 Vulkan
- 等 Qwen3.8 出 8-14B 档,老卡用户能吃到全量化档位
(数据均为本机实测,环境如上,欢迎同卡玩家复现对拍)
-- 6750 GRE 开荒首发,数据无修饰