感谢,四组对照(尤其 C/D 两组)很有用。补一个实测坑:
GPU_MAX_HW_QUEUES=8 会让引擎空闲时占满 GPU。
照 README 的 IQ3_S 配置(含该变量)启动后,/v1/telemetry 显示 active=0,但 gpu_busy_percent=100、进程 CPU 50–130%;停服务立刻归 0,重启又满。二分 48 个 STRATA_* 后,仅这一个变量可独立复现,其余 47 个单独测都干净。
同机实测(3 次中位数):
| GPU_MAX_HW_QUEUES | 空闲 GPU | 3.2K decode | 59K prefill |
|---|---|---|---|
| 8 | 100% | 71.7 | 3,352 |
| 4 | 0% | 75.6 | 3,293 |
| 不设 | 0% | 67.0 | 3,137 |
短 prompt 4 反而略快(队列太多互相争抢),长上下文 8 仍最好。建议默认 4,或在 docs/RDNA3_SETTINGS.md 里注明 8 的功耗代价。
另外两处和文档不一致:
refs/heads/rdna3已 404,现在是main(PR #1 的no-avx512f,...修复在)。- 系统 ROCm 7.2 的 device lib 在
$R/amdgcn/bitcode,不是文档写的$R/lib/llvm/amdgcn/bitcode,照抄会报cannot find ROCm device library。
最后一点观察:我这台原版 0.1.50 的 prefill 本身就有 3,021 tok/s(59K 输入),换 fork 后 3,293、decode 68.3→81。所以 2.8× 可能主要来自 0.1.52 预编译版与 rx7900 视觉版的差异;摘要里标一下原版的构建 variant 会更准确。
