7900 XTX + 128g 内存 单卡跑 Strata + Qwen3.8 Flash-Next, 踩坑经验分享
-
这台NAS电脑比较不典型,属于内存/显卡都够用, 但cpu/ssd (不是nvme)严重拖后腿。 给大家一点数据参考。
被 DSH 的 deepseek flash 坑了,抄着论坛作业框框干了两个多小时,告诉最好 16 t/s。后来自己下场找原因,找到了。
引擎默认把 27GB 的 PLE 表直接从 SSD 读,每个生成窗口都在等硬盘。塞进内存后,升到 65 t/s, 代价是内存占用来到了80G左右。另一个就是不要盲信strata自带的calibrate, 它给的--pcie-frac 是0.37 。但我实际工作环境跟测试不一样, 速度变慢很多, 明显cpu拖后腿了, 所以我把它固定到0.55 。
1. 环境
项目 配置 系统 TrueNAS SCALE 25.10.7(内核 6.12) GPU / CPU RX 7900 XTX 24GB(gfx1100,HIP)/ i5-9600K 6C/6T,只有 AVX2 RAM 128GB DDR4 ROCm / Strata 7.14.1(hipBLASLt 100401 调优表命中)/ v0.1.41 HIP 模型 Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S(IQ3_S,83.6 GB 两片),来自ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUFContext / 图像 131072 / 开( strata-vision-hipGPU 编码器 + BF16 mmproj)2. 关键参数
参数 值 --ple-ioram--pcie-frac0.55(写死;不写则引擎自测出 0.37)--pool-workers3--kv/--kv-residentint8/32768--spec/--spec-min-p4/0.5--adapt-every/-swaps/-decay1 / 80 / 0.97idle_unload_s1800后四项来自
--calibrate。--pool-workers别往大调:3 → 55.3 t/s,5 → 46.4,2 → 49.7。3. 经验
--ple-io ram是这台机器的命门。 PLE 表 26.82 GiB(512 亿参数,IQ4_NL),默认直读盘、每 window 卡在 330 MB/s。搬进内存后 22 → 65;代价是常驻 26.82 GiB,第二次重启只要 1.1 秒(页缓存已热)。--calibrate值得跑(只调 4 项,实测 +19%),但注意它会把没保留下来的 flag 直接删掉退回产品默认。- 参数好坏要看
/metrics里的真实流量,别只信合成 benchmark。 我用"反复读同一批文档"的 prompt 测(专家缓存命中率 92 ~ 97%,几乎不 miss),结论是--pcie-frac越高越慢;换成不同话题的真实对话(命中率 80 ~ 90%、40K 上下文),0.55 比 0.37 快 50%。miss 越少,PCIe 这条路越不划算 —— 拿一个「不 miss」的场景去否定一个专门处理 miss 的参数,方法本身就错了
-
,
J J Z 0 引用了 此主题
-
PLE 塞进内存这个思路好,感谢提醒,正好要加内存