就是在我的机器上有一个电源reset 的问题。

需要启动llama第二次才会满速和满载显卡功耗。

rocm 后端就可以满载功耗，但是速度只有30token 每秒。
————————————

【实际启动命令】(~/.config/systemd/user/llama-server-vulkan-qwen38.service)
/home/hong/Desktop/llama.cpp/build-vulkan/bin/llama-server \
  -m /home/hong/Desktop/Qwen3.8-27B-Uncensored-Q4_K_M.gguf \
  --host 0.0.0.0 --port 8086 \
  -ngl 99 -c 102400 --n-predict 30000 \
  --cache-type-k q8_0 --cache-type-v q8_0 \
  --batch-size 512 --ubatch-size 256 --parallel 1 \
  --load-mode mlock \
  --spec-type draft-mtp --jinja \
  --api-key KEY

服务附加配置: Environment=GGML_VK_DISABLE_COOPMAT=1, LimitMEMLOCK=infinity,
Restart=on-failure (10s), 模型 = Vulkan 后端 + Qwen3.8-27B-Uncensored Q4_K_M
(标准量化), MTP 草稿模式。

【关联的显卡 reset 命令】(ExecStartPre, 每次启动服务前自动执行)
ExecStartPre=/usr/bin/sudo /usr/local/bin/gpu-reset.sh

gpu-reset.sh 脚本内容 (card1 固定写死):
  GPU=/sys/class/drm/card1/device
  1. 循环等待 reset 节点就绪 (最多 60 秒)
  2. echo on   > $GPU/power/control
  3. echo high > $GPU/power_dpm_force_performance_level
  4. sleep 1
  5. echo 1    > $GPU/reset          # GPU 硬重置, 期间的 I/O error 属正常
  6. sleep 10
  7. echo on   > $GPU/power/control  # 重置后恢复
  8. echo high > $GPU/power_dpm_force_performance_level

即: 先把电源控制设为 on + 强制高性能档 → 对 GPU 写 reset=1 做硬重置 → 等 10 秒 → 重新 on +
high。这就是解决开机后 Vulkan 首次启动慢 / DPM 卡死的那个 reset。

注意: 记忆里 gpu-reset.service 自启已禁用, 但 #6 服务自身 ExecStartPre 仍带这个 reset, 所以每次
(re)start 都会触发一次。

【平均速度】(journalctl 历史, 5235 个采样)
- 全历史: p50 = 44.9 t/s, p90 = 60.0, max = 76.2 (含降速坏日, 被拉低)
- 健康日 (8/18, 8/20, 8/31, 9/1): 日均 52-58 t/s, 9/1 最高 71.3
- 降速故障日: 13-17 t/s (RADV shader 缓存损坏 / 开机首启 DPM 卡死)

结论: 正常状态平均约 52-58 token/s, 峰值可到 71-76; 故障时跌到 13-15, 重启一次服务即恢复。

─────────────────────────────────
整理如下（基于历史排查记录，均为本机实测）：

【现象】显卡无法满载
- 推理速度从正常的 50-88 t/s 跌到 10-28 t/s
- 功耗不满：满载应 250-350W，故障时只有 140-200W，甚至 <100W
- 有时 sclk/mclk 已满频、GPU 98-100%，但功耗低、token 产出只有 1/6（GPU 空转）
- 典型特征是"时好时坏"：按天交替 52→14→56→17→13 t/s

【四种已知根因】
1. RADV shader 缓存损坏（最常见）
   特征：间歇性复发 + 功耗 140-200W 不满载 + 缓存只有几 MB
   修复：停服务 → mv ~/.cache/mesa_shader_cache 改名备份 → 重启服务
   效果：13 → 67 t/s。注意 2026-08-30 有一例清缓存无效（需走 A3 对照）
2. Vulkan DPM 电源状态卡死
   特征：sclk 卡最低档(0MHz*) 或 mclk 卡 456MHz，功耗 <100W
   修复：restart 服务；无效则 echo high 强制高性能；再无效 reboot
3. 开机后首次启动服务必慢（GPU 硬重置与 GDM 显示栈冲突）
   特征：开机第一次启动 13-15 t/s，restart 一次即恢复 52 t/s
   现状：已接受此 workaround，不再深究根治
4. 模型文件是混合量化配方
   特征：文件名 Q4_K_M 但张量混 f32/q8_0/q5_K/q6_K，走 Vulkan 通用慢路径
   表现：14.5 vs 标准量化 63 t/s（字节数只差 5% 但速度差 4 倍）
   修复：llama-quantize --allow-requantize 重量化为标准 Q4_K_M

【判定顺序】
1. journalctl 查该服务历史 tg 分布 → 一直慢还是间歇性
2. 查 sclk/mclk 档位 + 功耗 → 排除电源卡死
3. 分不清就做 A3 对照：停 Vulkan 服务，用 ROCm build 跑同一模型
   - ROCm 快 (40+) = RADV 层问题 → 清 shader 缓存
   - 两者都慢 = 系统层（内核/DKMS/PCIe）

【当前处置（2026-08-30 起生效）】
- 开机后启动服务若慢（<20 t/s）→ 手动 restart 一次即恢复 50+
- perf 已改回 auto（待机省电），gpu-reset/gpu-perf-high 服务已禁用，udev 规则已备份
- 完整诊断手册在 llama-cpp-performance-troubleshooting 技能里，需要时可随时取用