7900 XTX + 128g 内存 单卡跑 Strata + Qwen3.8 Flash-Next， 踩坑经验分享

[J Z 0]

这台NAS电脑比较不典型，属于内存/显卡都够用， 但cpu/ssd （不是nvme）严重拖后腿。 给大家一点数据参考。
被 DSH 的 deepseek flash 坑了，抄着论坛作业框框干了两个多小时，告诉最好 16 t/s。后来自己下场找原因，找到了。
引擎默认把 27GB 的 PLE 表直接从 SSD 读，每个生成窗口都在等硬盘。塞进内存后，升到 65 t/s， 代价是内存占用来到了80G左右。

另一个就是不要盲信strata自带的calibrate， 它给的--pcie-frac 是0.37 。但我实际工作环境跟测试不一样， 速度变慢很多， 明显cpu拖后腿了， 所以我把它固定到0.55 。

1. 环境

项目	配置
系统	TrueNAS SCALE 25.10.7（内核 6.12）
GPU / CPU	RX 7900 XTX 24GB（gfx1100，HIP）/ i5-9600K 6C/6T，只有 AVX2
RAM	128GB DDR4
ROCm / Strata	7.14.1（hipBLASLt 100401 调优表命中）/ v0.1.41 HIP
模型	Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S（IQ3_S，83.6 GB 两片），来自 ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF
Context / 图像	131072 / 开（strata-vision-hip GPU 编码器 + BF16 mmproj）

2. 关键参数

参数	值
--ple-io	ram
--pcie-frac	0.55（写死；不写则引擎自测出 0.37）
--pool-workers	3
--kv / --kv-resident	int8 / 32768
--spec / --spec-min-p	4 / 0.5
--adapt-every / -swaps / -decay	1 / 80 / 0.97
idle_unload_s	1800

后四项来自 --calibrate。--pool-workers 别往大调：3 → 55.3 t/s，5 → 46.4，2 → 49.7。

3. 经验

1. --ple-io ram 是这台机器的命门。 PLE 表 26.82 GiB（512 亿参数，IQ4_NL），默认直读盘、每 window 卡在 330 MB/s。搬进内存后 22 → 65；代价是常驻 26.82 GiB，第二次重启只要 1.1 秒（页缓存已热）。
2. --calibrate 值得跑（只调 4 项，实测 +19%），但注意它会把没保留下来的 flag 直接删掉退回产品默认。
3. 参数好坏要看 /metrics 里的真实流量，别只信合成 benchmark。 我用"反复读同一批文档"的 prompt 测（专家缓存命中率 92 ~ 97%，几乎不 miss），结论是 --pcie-frac 越高越慢；换成不同话题的真实对话（命中率 80 ~ 90%、40K 上下文），0.55 比 0.37 快 50%。miss 越少，PCIe 这条路越不划算 —— 拿一个「不 miss」的场景去否定一个专门处理 miss 的参数，方法本身就错了

[marsempire]

PLE 塞进内存这个思路好，感谢提醒，正好要加内存

[marsempire]

marsempire 说:

PLE 塞进内存这个思路好，感谢提醒，正好要加内存

--ple-io ram 在你这台机器上是中性的（B vs A 只有 −0.56%，而专家槽位本身就差了 0.18%，两臂区间大幅重叠）。原因很清楚：改动前那一臂的启动日志已经写 69.7 GiB available —— 加到 128 GB 后，26.82 GiB 的 PLE 表本来就已经住进页缓存了。帖子那台机器的瓶颈是页缓存装不下它，你这边「加内存」这一步本身就把问题解决了。而 --ple-io ram 的代价是 26.82 GiB 变成不可回收内存，外加每次启动多花 19.6 s（缓存热）/ 77.8 s（缓存冷）去锁定。

所以我加了内存后就不需要再改--ple-io参数了……

[J Z 0]

@marsempire 不知道ssd什么时候打折， 要是能搞个7000mb/s的读取，冷启动总共也就十几秒，那时我会试大一号的模型

[terry]

其实当下还是DDR3/4加大内存跑Strata性价比比较高，很多帖子都实测了，SSD缓存还是想多了，IO压力很大。