R9700 32GB 跑 Qwen3.8-27B：llama.cpp Vulkan + MTP 实测与踩坑记录

PhoenixRise2026

如果模型能基本完整放进显存，内存速度影响通常不大，Decode 阶段主要还是看显卡和显存带宽。

内存容量更重要一些，主要影响模型加载、系统文件缓存、Prompt Cache，以及显存不够时的 CPU offload。内存太小会导致加载困难、频繁换页，甚至直接 OOM。

如果模型需要大量 CPU/GPU 混合推理，那内存带宽就会明显重要起来，情况会不一样。

exllm

32G 显存， cache 可以用q8_0， 3.8-27B量化用q4_0很容易在思考阶段死循环，调整repeat-penalty也无法排除，同样的问题3.6-27B就不会。

PhoenixRise2026

@exllm 谢谢提醒，补一个q8_0的测试结果

wml-ai

@phoenixrise2026
我也是 R9700，但是CPU是AMD Ryzen 9700X，Mesa RADV Vulkan升级到26.1.7后，llama-bench测试Qwen3.8-27B-UD-Q4_K_XL，prefill比25.2.X版本有明显提升，decode比ROCm快。

prompt size	Vulkan 旧驱动 25.2.8	Vulkan 新驱动 26.1.7	ROCm
pp512	881.8	1014.2 (+15.0%)	1206.5
pp2048	870.1	1004.4(+15.4%)	1182.2
pp8192	825.7	953.2 (+15.4%)	1124.1
tg128	28.16	28.41 (+0.9%)	26.43

另外好奇的是，你的4080s 32GB是魔改卡吗？为什么不是涡轮散热器？

PhoenixRise2026

@wml-ai 是32G 魔改，B站上一个UP主卖的三风扇版。

AGI

你这个kv用q8，模型用q6_k_xl甜点级别的，最合适不过了。

PhoenixRise2026

@AGI 谢谢大神指导，运行效果确实不错

Leaner Financial

@phoenixrise2026 ，谢谢分享。

请问R9700显卡核心温度如何显存温度如何？我有一张ASROCK 的AI PRO R9700 涡轮卡，跑在pve里的lxc容器上，跑这个Qwen3.8-27B-UD-Q4_K_XL模型推理时显存温度经常上到80摄氏度以上。

启动脚本

/root/llama.cpp/build/bin/llama-server \
    --model /root/models/Qwen3.8-27B-GGUF/Qwen3.8-27B-UD-Q4_K_XL.gguf \
    --host 0.0.0.0 \
    --port 8000 \
    --ctx-size 262144 \
    --cache-type-k q8_0 \
    --cache-type-v q8_0 \
    --flash-attn on \
    --n-gpu-layers 999 \
    --spec-type draft-mtp \
    --spec-draft-n-max 2 \
    --parallel 1 \
    --jinja \
    --chat-template-kwargs '{"reasoning_effort":"low"}'

温度监控

PVE HOST 硬件温度监控
 2026-08-21 09:27:13
=======================================================
--- CPU ---
  Tctl (控制温度): 68.1°C
  Tccd1 (CCD1 实际温度): 68.4°C
--- GPU (AMD) ---
  检测到的显示设备 (PCI地址 : 型号)：
    0000:03:00.0 : Advanced Micro Devices, Inc. [AMD/ATI] Navi 48 [Radeon AI PRO R9700] (rev c0)
    0000:77:00.0 : Advanced Micro Devices, Inc. [AMD/ATI] Granite Ridge [Radeon Graphics] (rev c6)
    [0000:03:00.0 Advanced Micro Devices, Inc. [AMD/ATI] Navi 48 [Radeon AI PRO R9700] (rev c0)]
      temp1_input (edge): 63.0°C
      temp2_input (junction): 80.0°C
      temp3_input (mem): 74.0°C
    [0000:77:00.0 Advanced Micro Devices, Inc. [AMD/ATI] Granite Ridge [Radeon Graphics] (rev c6)]
      temp1_input (edge): 42.0°C
--- Memory ---
  [spd5118-i2c-1-51] 33.8°C

PhoenixRise2026

@Leaner-Financial 后来继续排查了一下 R9700 的风扇策略，确实发现原厂默认设置比较保守，所以我又让 AI 帮忙重新调了一条风扇曲线。

修改前：原厂自动风扇策略

R9700 默认由 SMU/固件自动控制风扇，并不会直接显示一条完整的 5 点曲线。

我这张卡实测到的默认参数大致是：

低温/空闲：约 20% PWM / 890 RPM
Fan Target Temperature：85°C
Acoustic Target：2100 RPM
Acoustic Limit：5000 RPM

也就是说，默认策略更倾向于安静，低温时风扇转速压得比较低，温度上去以后再由 SMU 自动提高。

修改后：自定义风扇曲线

目前改成：

25°C   → 25%
50°C   → 30%
70°C   → 45%
85°C   → 70%
100°C  → 100%

这条曲线相比原厂明显更积极一些，尤其是 70°C 以后会更早提高风扇转速，主要考虑长时间跑 LLM / ComfyUI 时显存和 Hotspot 的散热。

另外我也实际测试了一下手动控制是否真的生效：

35% PWM
→ 实际 PWM：89 / 255 ≈ 34.9%
→ 风扇转速：1189 RPM

所以目前可以确认，R9700 在 Ubuntu 下通过：

/sys/class/drm/card*/device/gpu_od/fan_ctrl/fan_curve

可以正常控制风扇曲线。

需要注意的是，我这里还需要在 GRUB 中启用 AMDGPU OverDrive：

amdgpu.ppfeaturemask=0xfff7ffff

启用以后 gpu_od/fan_ctrl 相关接口才出现。

目前这条曲线只是我先采用的基线，后面准备根据长时间满载时的 edge / junction / mem 温度和风扇 RPM 再继续微调。

williamlouis

注意。这需要大内存。实测 32G小内存配置失败。最少需要 64G内存。

罗冰寒

差不多，我也测了一下单卡r9700
════ 单卡 Qwen3.8-27B Q4_K_M 速度实测 ════

测试配置（单卡卡0，HIP_VISIBLE_DEVICES=0）：
· 引擎：llama.cpp build-714（commit 70adb1b，ROCm 7.14，链接 7.14 库）
· 模型：Qwen3.8-27B-UD-Q4_K_M.gguf（Q4_K_M 量化，16G）
· MTP 草稿：mtp-Qwen3.8-27B-Q4_0.gguf（--spec-draft-n-max 4）
· 视觉：mmproj-Qwen3.8-27B-Q8_0.gguf → 支持图文
· 其他：-fa on、-ngl 999、-np 1

实测矩阵（生成 300 token，long-form 中文 / 确定性数学）：

上下文 KV量化 MTP 开放内容t/s 数学t/s MTP接受率
128k f16 ON 39.12 58.18 0.40 / 0.72
128k f16 OFF 29.33 29.19 —
128k q8_0 ON 43.42 59.80 0.47 / 0.75
256k q8_0 ON 40.78 59.88 0.44 / 0.75

各参数影响（控制变量）：

MTP 开关（128k f16）：开 39 vs 关 29 → MTP 帮约 +34%；数学题因接受率 0.72-0.75 能拉到 58-60（+100%）
KV 量化（128k MTP on）：f16 39.1 vs q8_0 43.4 → q8_0 快约 10%（KV 传输省带宽），且显存更省
上下文（q8_0 MTP on）：256k 40.8 vs 128k 43.4 → 256k 略慢约 6%（更大 KV 注意力），但它放得下是重点
显存：128k f16 ≈ 28.8G；256k q8_0 ≈ 31.2G（贴边，只余 ~3G）——256k 必须用 q8_0 KV，f16 在单卡 31G 放不下（约需 40G+，会 OOM）
prompt 处理：数学 pp 到 80-102 t/s（确定性短prompt 快）

罗冰寒

再就是我现在双卡R9700 跑Q8的速度跟单卡跑Q4的速度差不多 >_<

Xiaote

这个结果其实符合带宽账，不用郁闷：Q8 的权重字节数约是 Q4 的 1.7 倍（27B 的 Q8_0 ≈ 27G vs Q4_K_M 16G），双卡带宽 ×2，27G / 1280GB/s ≈ 21ms vs 16G / 640GB/s ≈ 25ms——纯带宽算下来双 Q8 还该比单 Q4 快 15-20%，你测到"差不多"说明双卡同步/层间开销把这点理论增益吃掉了，正常现象。

双卡上 Q8 的核心意义其实是容量不是速度：Q8 权重 27G，单卡 32G 再挂 KV + MTP 草稿 + mmproj 必爆，双卡是为了装得下，速度跟单卡 Q4 持平已经是赚的。想确认双卡没白跑：看两张卡的利用率/功耗是不是都在动，别是单卡在干活。

另外你那组数据里 MTP 收益 +34% 很典型（数学题接受率 0.72-0.75 拉到 58-60），双卡别忘了也挂 --spec-type draft-mtp，否则 Q8 大权重没有投机解码会更难受。

zhenyu huang

r9700这个涡轮转速上去之后也很吵吗是不是所有涡轮都一样吵

xl

@zhenyu-huang r9700全速的声音还是比较明显，但不是哪种高频啸叫。台式机放地上，不戴耳机也不会让人觉得烦躁。

xiaopbro

@zhenyu-huang 是挺吵的，但是没4090魔改那么大，我把电压从300调到了250，牺牲大概15%性能，现在还算比较安静了

Leaner Financial

@PhoenixRise2026 谢谢回复我已经按你的设置调高了风扇的转速策略。显卡温度降到80摄氏度以下了。忘了说了我之前就已经将显卡功耗上限设置为250w了，这次也没动。

=======================================================
 PVE HOST 硬件温度监控
 2026-08-28 17:03:22
=======================================================
--- CPU ---
  Tctl (控制温度): 68.0°C
  Tccd1 (CCD1 实际温度): 68.9°C

--- GPU (AMD) ---
  检测到的显示设备 (PCI地址 : 型号)：
    0000:03:00.0 : Advanced Micro Devices, Inc. [AMD/ATI] Navi 48 [Radeon AI PRO R9700] (rev c0)
    0000:77:00.0 : Advanced Micro Devices, Inc. [AMD/ATI] Granite Ridge [Radeon Graphics] (rev c6)

    [0000:03:00.0 Advanced Micro Devices, Inc. [AMD/ATI] Navi 48 [Radeon AI PRO R9700] (rev c0)]
      temp1_input (edge): 58.0°C
      temp2_input (junction): 73.0°C
      temp3_input (mem): 76.0°C
    [0000:77:00.0 Advanced Micro Devices, Inc. [AMD/ATI] Granite Ridge [Radeon Graphics] (rev c6)]
      temp1_input (edge): 43.0°C

--- Memory ---
  [spd5118-i2c-1-51] 35.2°C

--- System Temp (主板/机箱温度) ---
  Thermistor 15 [nct6687-isa-0a20]: 41.5°C
  Thermistor 1 [nct6687-isa-0a20]: 45.5°C
  Thermistor 15 [nct6687-isa-0a20]: 41.5°C

Limbo Peng

32K 以上的 input prefill 速度如何？2322 tokens 跟长文本还差得远吧……

Xiaote

@Limbo-Peng 2322 是短 prompt 的单点，长文本不能线性外推。

Vulkan 下 prefill 大致分三段：≤8K 基本线性；8K–32K 开始被 KV 写入和 attention 的 O(n²) 拖；>32K 还多一个变量——KV 放不下溢出到 GTT，速度断崖。所以 2322 只说明"能跑"，32K 以上掉到几百 tok/s 量级很正常。

建议自己打一条曲线，别只看别人单点：

llama-bench -m model.gguf -p 2048,8192,16384,32768,65536 -n 128 -fa 1

跑的时候同时看 rocm-smi 的显存占用，一旦逼近 31G 就是开始 spill，曲线会很难看。长上下文把 -fa 打开、KV 用 q8_0，能省近一半 KV 显存，prefill 掉得慢一些。R9700 的定位是 32G 里性价比高，不是长上下文怪兽。

抡锤者

R9700 32GB 跑 Qwen3.8-27B：llama.cpp Vulkan + MTP 实测与踩坑记录

启动脚本

温度监控

启动脚本

温度监控

修改前：原厂自动风扇策略

修改后：自定义风扇曲线

修改前：原厂自动风扇策略

修改后：自定义风扇曲线