<![CDATA[ROCm 7.14 与 ROCm 10.0：llama.cpp Q8 160K 双卡实测]]>下午摸鱼的时候无意中发现 ROCm发布10.0了 （其实本质上是7.15🤡），不过看他版本号跨度这么大，想必定是有什么过人之处，于是让Codex替我盘盘他。

省流：

与 ROCm 7.14 没啥差别。

测试平台：

GPU：Radeon AI PRO R9700 32GB + Radeon RX 9070 16GB
设备顺序：HIP_VISIBLE_DEVICES=1,0
功耗上限：R9700 210W，RX 9070 200W
llama.cpp： d3371929bb1b6982cf73f1e54156d3d426cd80a1
ROCm 7 镜像：local/llama.cpp-rocm:7.14.0-gfx1201-rccl
ROCm 10 镜像：local/llama.cpp-rocm:10.0.0-gfx1201-rccl
编译参数：GGML_HIP=ON、GGML_HIP_RCCL=ON、GGML_HIP_GRAPHS=ON、AMDGPU_TARGETS=gfx1201
模型：Qwen3.8-27B HauhauCS-Aggressive Q8_K_P
mmproj：BF16
KV：FP16
上下文：160K、parallel=1
双卡：split-mode=tensor、tensor-split=65,35、RCCL
MTP：n-max=3
每轮请求：160K token 输入，128 token 输出，cache_prompt=false

结论

核心指标 ROCm 7.14 ROCm 10.0 ROCm 10 相对变化
160K 冷 Prefill 370.759 t/s 370.740 t/s -0.005%
Decode 35.721 t/s 37.281 t/s +4.366%
端到端墙钟 445.170 秒 445.058 秒 -0.025%
  1. Prefill 持平。 两版均值仅差 0.020 t/s，远小于两轮自然波动，不构成性能差异。
  2. Decode 有小幅、稳定收益。 ROCm 10 两轮分别为 37.291、37.271 t/s；ROCm 7 两轮为 35.717、35.726 t/s，提升约 4.37%。
  3. MTP 行为一致。 四轮接受率均为 89/113，即 78.761%，因此 Decode 差异不是由接受率变化造成的。
  4. 端到端无收益。 ROCm 10 平均墙钟只少 0.111 秒；对一次约 7 分 25 秒的请求，这一差异不可感知。
]]>https://lcz.me/topic/1452RSS for NodeWed, 09 Sep 2026 22:53:35 GMTTue, 01 Sep 2026 08:09:41 GMT60<![CDATA[Reply to ROCm 7.14 与 ROCm 10.0：llama.cpp Q8 160K 双卡实测 on Wed, 09 Sep 2026 02:49:39 GMT]]>之前有查詢ROCM 10主要是為了MI400出的，跟R9700的RDNA4一點關係都沒有。

]]>https://lcz.me/post/16824https://lcz.me/post/16824Wed, 09 Sep 2026 02:49:39 GMT<![CDATA[Reply to ROCm 7.14 与 ROCm 10.0：llama.cpp Q8 160K 双卡实测 on Wed, 09 Sep 2026 02:14:38 GMT]]>@johnnybegood
@kos-or

个人实测得出的，而且更小的量化格式并不一定代表速度更快，具体原因我猜测可能跟数据结构有关，毕竟没有原生“6位格式”，处理时候可能会更麻烦？不过如果你能跑Q8量化，那么说明肯定是双卡，直接上vLLM、FP8格式的模型速度更快，双卡下在接近160K+上下文的情况下能稳定1000+的预填充速度解码开启MTP之后也能三四十。

]]>https://lcz.me/post/16817https://lcz.me/post/16817Wed, 09 Sep 2026 02:14:38 GMT<![CDATA[Reply to ROCm 7.14 与 ROCm 10.0：llama.cpp Q8 160K 双卡实测 on Tue, 08 Sep 2026 22:29:51 GMT]]>

@Bunsei said:

Q8的速度在agent工作负载下是比Q6快很多的

請問 這是因為Q8 有硬體解碼的因素嗎？
所以只要 VRAM裝得下, Q8/FP8 速度上 > Q6/Q4 ?

754790cb-5629-4949-ad54-5f1bbfb5c4a2-image.jpeg

]]>https://lcz.me/post/16791https://lcz.me/post/16791Tue, 08 Sep 2026 22:29:51 GMT<![CDATA[Reply to ROCm 7.14 与 ROCm 10.0：llama.cpp Q8 160K 双卡实测 on Tue, 08 Sep 2026 16:32:33 GMT]]>@Bunsei 为啥呢？

]]>https://lcz.me/post/16760https://lcz.me/post/16760Tue, 08 Sep 2026 16:32:33 GMT<![CDATA[Reply to ROCm 7.14 与 ROCm 10.0：llama.cpp Q8 160K 双卡实测 on Tue, 08 Sep 2026 16:26:09 GMT]]>刚刷到ROCm，就看到坛友发了，确实省流让人佩服。

]]>https://lcz.me/post/16756https://lcz.me/post/16756Tue, 08 Sep 2026 16:26:09 GMT<![CDATA[Reply to ROCm 7.14 与 ROCm 10.0：llama.cpp Q8 160K 双卡实测 on Tue, 01 Sep 2026 08:27:59 GMT]]>另外偷偷说一嘴，其实R9700跑Q8的速度在agent工作负载下是比Q6快很多的，双卡还是尽量跑Q8。

]]>https://lcz.me/post/15320https://lcz.me/post/15320Tue, 01 Sep 2026 08:27:59 GMT<![CDATA[Reply to ROCm 7.14 与 ROCm 10.0：llama.cpp Q8 160K 双卡实测 on Tue, 01 Sep 2026 08:22:53 GMT]]>很好，省流二字价值连城

]]>https://lcz.me/post/15318https://lcz.me/post/15318Tue, 01 Sep 2026 08:22:53 GMT<![CDATA[Reply to ROCm 7.14 与 ROCm 10.0：llama.cpp Q8 160K 双卡实测 on Tue, 01 Sep 2026 08:14:41 GMT]]>启动参数:

docker run -d \
  --name llama-ab \
  --device=/dev/kfd \
  --device=/dev/dri \
  --group-add 44 \
  --group-add 991 \
  --ipc=host \
  --shm-size=16g \
  --security-opt seccomp=unconfined \
  -e HIP_VISIBLE_DEVICES=1,0 \
  -e GGML_CUDA_P2P=1 \
  -e NCCL_DEBUG=WARN \
  -p 8080:8080 \
  -v /home/bunsei/models/GGUF/Qwen3.8-27B-Q8_K_P:/models:ro \
  -v /home/bunsei/.config/llama.cpp/api-key:/run/secrets/llama-api-key:ro \
  local/llama.cpp-rocm:7.14.0-gfx1201-rccl \
  --model /models/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-Q8_K_P.gguf \
  --mmproj /models/mmproj-BF16.gguf \
  --gpu-layers all \
  --gpu-layers-draft all \
  --fit off \
  --ctx-size 163840 \
  --parallel 1 \
  --batch-size 2048 \
  --ubatch-size 512 \
  --kv-unified \
  --cache-type-k f16 \
  --cache-type-v f16 \
  --cache-type-k-draft f16 \
  --cache-type-v-draft f16 \
  --kv-offload \
  --flash-attn on \
  --split-mode tensor \
  --tensor-split 65,35 \
  --spec-type draft-mtp \
  --spec-draft-n-max 3 \
  --cache-idle-slots \
  --ctx-checkpoints 8 \
  --checkpoint-min-step 8192 \
  --image-min-tokens 1024 \
  --reasoning-format deepseek \
  --host 0.0.0.0 \
  --port 8080 \
  --ui
]]>https://lcz.me/post/15317https://lcz.me/post/15317Tue, 01 Sep 2026 08:14:41 GMT<![CDATA[Reply to ROCm 7.14 与 ROCm 10.0：llama.cpp Q8 160K 双卡实测 on Tue, 01 Sep 2026 08:11:19 GMT]]>原始结果
运行时 轮次 Prefill t/s Decode t/s Prompt 秒 Decode 秒 墙钟秒 MTP 接受率
ROCm 7.14 1 372.374 35.717 439.644 3.500 443.323 78.761%
ROCm 7.14 2 369.145 35.726 443.490 3.499 447.016 78.761%
ROCm 10.0 1 371.095 37.291 441.159 3.352 444.728 78.761%
ROCm 10.0 2 370.384 37.271 442.006 3.354 445.389 78.761%
]]>https://lcz.me/post/15315https://lcz.me/post/15315Tue, 01 Sep 2026 08:11:19 GMT