7900 XTX + 128g 内存 单卡跑 Strata + Qwen3.8 Flash-Next， 踩坑经验分享

[J Z 0]

这台NAS电脑比较不典型，属于内存/显卡都够用， 但cpu/ssd （不是nvme）严重拖后腿。 给大家一点数据参考。
被 DSH 的 deepseek flash 坑了，抄着论坛作业框框干了两个多小时，告诉最好 16 t/s。后来自己下场找原因，找到了。
引擎默认把 27GB 的 PLE 表直接从 SSD 读，每个生成窗口都在等硬盘。塞进内存后，升到 65 t/s， 代价是内存占用来到了80G左右。

另一个就是不要盲信strata自带的calibrate， 它给的--pcie-frac 是0.37 。但我实际工作环境跟测试不一样， 速度变慢很多， 明显cpu拖后腿了， 所以我把它固定到0.55 。

1. 环境

项目	配置
系统	TrueNAS SCALE 25.10.7（内核 6.12）
GPU / CPU	RX 7900 XTX 24GB（gfx1100，HIP）/ i5-9600K 6C/6T，只有 AVX2
RAM	128GB DDR4
ROCm / Strata	7.14.1（hipBLASLt 100401 调优表命中）/ v0.1.41 HIP
模型	Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S（IQ3_S，83.6 GB 两片），来自 ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF
Context / 图像	131072 / 开（strata-vision-hip GPU 编码器 + BF16 mmproj）

2. 关键参数

参数	值
--ple-io	ram
--pcie-frac	0.55（写死；不写则引擎自测出 0.37）
--pool-workers	3
--kv / --kv-resident	int8 / 32768
--spec / --spec-min-p	4 / 0.5
--adapt-every / -swaps / -decay	1 / 80 / 0.97
idle_unload_s	1800

后四项来自 --calibrate。--pool-workers 别往大调：3 → 55.3 t/s，5 → 46.4，2 → 49.7。

3. 经验

1. --ple-io ram 是这台机器的命门。 PLE 表 26.82 GiB（512 亿参数，IQ4_NL），默认直读盘、每 window 卡在 330 MB/s。搬进内存后 22 → 65；代价是常驻 26.82 GiB，第二次重启只要 1.1 秒（页缓存已热）。
2. --calibrate 值得跑（只调 4 项，实测 +19%），但注意它会把没保留下来的 flag 直接删掉退回产品默认。
3. 参数好坏要看 /metrics 里的真实流量，别只信合成 benchmark。 我用"反复读同一批文档"的 prompt 测（专家缓存命中率 92 ~ 97%，几乎不 miss），结论是 --pcie-frac 越高越慢；换成不同话题的真实对话（命中率 80 ~ 90%、40K 上下文），0.55 比 0.37 快 50%。miss 越少，PCIe 这条路越不划算 —— 拿一个「不 miss」的场景去否定一个专门处理 miss 的参数，方法本身就错了

[marsempire]

PLE 塞进内存这个思路好，感谢提醒，正好要加内存