R9700 32GB 跑 Qwen3.8-27B：llama.cpp Vulkan + MTP 实测与踩坑记录
-
注意。这需要大内存。实测 32G小内存配置失败。最少需要 64G内存。
-
差不多，我也测了一下单卡r9700
════ 单卡 Qwen3.8-27B Q4_K_M 速度实测 ════测试配置（单卡卡0，HIP_VISIBLE_DEVICES=0）：
· 引擎：llama.cpp build-714（commit 70adb1b，ROCm 7.14，链接 7.14 库）
· 模型：Qwen3.8-27B-UD-Q4_K_M.gguf（Q4_K_M 量化，16G）
· MTP 草稿：mtp-Qwen3.8-27B-Q4_0.gguf（--spec-draft-n-max 4）
· 视觉：mmproj-Qwen3.8-27B-Q8_0.gguf → 支持图文
· 其他：-fa on、-ngl 999、-np 1实测矩阵（生成 300 token，long-form 中文 / 确定性数学）：
上下文 KV量化 MTP 开放内容t/s 数学t/s MTP接受率
128k f16 ON 39.12 58.18 0.40 / 0.72
128k f16 OFF 29.33 29.19 —
128k q8_0 ON 43.42 59.80 0.47 / 0.75
256k q8_0 ON 40.78 59.88 0.44 / 0.75各参数影响（控制变量）：
- MTP 开关（128k f16）：开 39 vs 关 29 → MTP 帮约 +34%；数学题因接受率 0.72-0.75 能拉到 58-60（+100%）
- KV 量化（128k MTP on）：f16 39.1 vs q8_0 43.4 → q8_0 快约 10%（KV 传输省带宽），且显存更省
- 上下文（q8_0 MTP on）：256k 40.8 vs 128k 43.4 → 256k 略慢约 6%（更大 KV 注意力），但它放得下是重点
- 显存：128k f16 ≈ 28.8G；256k q8_0 ≈ 31.2G（贴边，只余 ~3G）——256k 必须用 q8_0 KV，f16 在单卡 31G 放不下（约需 40G+，会 OOM）
- prompt 处理：数学 pp 到 80-102 t/s（确定性短prompt 快）
-
这个结果其实符合带宽账，不用郁闷：Q8 的权重字节数约是 Q4 的 1.7 倍（27B 的 Q8_0 ≈ 27G vs Q4_K_M 16G），双卡带宽 ×2，27G / 1280GB/s ≈ 21ms vs 16G / 640GB/s ≈ 25ms——纯带宽算下来双 Q8 还该比单 Q4 快 15-20%，你测到"差不多"说明双卡同步/层间开销把这点理论增益吃掉了，正常现象。
双卡上 Q8 的核心意义其实是容量不是速度：Q8 权重 27G，单卡 32G 再挂 KV + MTP 草稿 + mmproj 必爆，双卡是为了装得下，速度跟单卡 Q4 持平已经是赚的。想确认双卡没白跑：看两张卡的利用率/功耗是不是都在动，别是单卡在干活。
另外你那组数据里 MTP 收益 +34% 很典型（数学题接受率 0.72-0.75 拉到 58-60），双卡别忘了也挂 --spec-type draft-mtp，否则 Q8 大权重没有投机解码会更难受。
-
r9700这个涡轮转速上去之后也很吵吗 是不是所有涡轮都一样吵
@zhenyu-huang r9700全速的声音还是比较明显，但不是哪种高频啸叫。台式机放地上，不戴耳机也不会让人觉得烦躁。
-
r9700这个涡轮转速上去之后也很吵吗 是不是所有涡轮都一样吵
@zhenyu-huang 是挺吵的，但是没4090魔改那么大，我把电压从300调到了250，牺牲大概15%性能，现在还算比较安静了
-
@Leaner-Financial 后来继续排查了一下 R9700 的风扇策略，确实发现原厂默认设置比较保守，所以我又让 AI 帮忙重新调了一条风扇曲线。
修改前：原厂自动风扇策略
R9700 默认由 SMU/固件自动控制风扇，并不会直接显示一条完整的 5 点曲线。
我这张卡实测到的默认参数大致是：
- 低温/空闲：约 20% PWM / 890 RPM
- Fan Target Temperature：85°C
- Acoustic Target：2100 RPM
- Acoustic Limit：5000 RPM
也就是说，默认策略更倾向于安静，低温时风扇转速压得比较低，温度上去以后再由 SMU 自动提高。
修改后：自定义风扇曲线
目前改成：
25°C → 25% 50°C → 30% 70°C → 45% 85°C → 70% 100°C → 100%这条曲线相比原厂明显更积极一些，尤其是 70°C 以后会更早提高风扇转速，主要考虑长时间跑 LLM / ComfyUI 时显存和 Hotspot 的散热。
另外我也实际测试了一下手动控制是否真的生效：
35% PWM → 实际 PWM：89 / 255 ≈ 34.9% → 风扇转速：1189 RPM所以目前可以确认，R9700 在 Ubuntu 下通过：
/sys/class/drm/card*/device/gpu_od/fan_ctrl/fan_curve可以正常控制风扇曲线。
需要注意的是，我这里还需要在 GRUB 中启用 AMDGPU OverDrive：
amdgpu.ppfeaturemask=0xfff7ffff启用以后
gpu_od/fan_ctrl相关接口才出现。目前这条曲线只是我先采用的基线，后面准备根据长时间满载时的 edge / junction / mem 温度和风扇 RPM 再继续微调。
@PhoenixRise2026 谢谢回复 我已经按你的设置调高了风扇的转速策略。显卡温度降到80摄氏度以下了。忘了说了我之前就已经将显卡功耗上限设置为250w了，这次也没动。
======================================================= PVE HOST 硬件温度监控 2026-08-28 17:03:22 ======================================================= --- CPU --- Tctl (控制温度): 68.0°C Tccd1 (CCD1 实际温度): 68.9°C --- GPU (AMD) --- 检测到的显示设备 (PCI地址 : 型号)： 0000:03:00.0 : Advanced Micro Devices, Inc. [AMD/ATI] Navi 48 [Radeon AI PRO R9700] (rev c0) 0000:77:00.0 : Advanced Micro Devices, Inc. [AMD/ATI] Granite Ridge [Radeon Graphics] (rev c6) [0000:03:00.0 Advanced Micro Devices, Inc. [AMD/ATI] Navi 48 [Radeon AI PRO R9700] (rev c0)] temp1_input (edge): 58.0°C temp2_input (junction): 73.0°C temp3_input (mem): 76.0°C [0000:77:00.0 Advanced Micro Devices, Inc. [AMD/ATI] Granite Ridge [Radeon Graphics] (rev c6)] temp1_input (edge): 43.0°C --- Memory --- [spd5118-i2c-1-51] 35.2°C --- System Temp (主板/机箱温度) --- Thermistor 15 [nct6687-isa-0a20]: 41.5°C Thermistor 1 [nct6687-isa-0a20]: 45.5°C Thermistor 15 [nct6687-isa-0a20]: 41.5°C -
-
32K 以上的 input prefill 速度如何？2322 tokens 跟长文本还差得远吧……
@Limbo-Peng 2322 是短 prompt 的单点，长文本不能线性外推。
Vulkan 下 prefill 大致分三段：≤8K 基本线性；8K–32K 开始被 KV 写入和 attention 的 O(n²) 拖；>32K 还多一个变量——KV 放不下溢出到 GTT，速度断崖。所以 2322 只说明"能跑"，32K 以上掉到几百 tok/s 量级很正常。
建议自己打一条曲线，别只看别人单点：
llama-bench -m model.gguf -p 2048,8192,16384,32768,65536 -n 128 -fa 1
跑的时候同时看 rocm-smi 的显存占用，一旦逼近 31G 就是开始 spill，曲线会很难看。长上下文把 -fa 打开、KV 用 q8_0，能省近一半 KV 显存，prefill 掉得慢一些。R9700 的定位是 32G 里性价比高，不是长上下文怪兽。
