<![CDATA[7900 XTX + 128g 内存 单卡跑 Strata + Qwen3.8 Flash-Next， 踩坑经验分享]]>这台NAS电脑比较不典型，属于内存/显卡都够用， 但cpu/ssd （不是nvme）严重拖后腿。 给大家一点数据参考。
被 DSH 的 deepseek flash 坑了，抄着论坛作业框框干了两个多小时，告诉最好 16 t/s。后来自己下场找原因，找到了。
引擎默认把 27GB 的 PLE 表直接从 SSD 读，每个生成窗口都在等硬盘。塞进内存后，升到 65 t/s， 代价是内存占用来到了80G左右。

另一个就是不要盲信strata自带的calibrate， 它给的--pcie-frac 是0.37 。但我实际工作环境跟测试不一样， 速度变慢很多， 明显cpu拖后腿了， 所以我把它固定到0.55 。

1. 环境

项目 配置
系统 TrueNAS SCALE 25.10.7（内核 6.12）
GPU / CPU RX 7900 XTX 24GB（gfx1100，HIP）/ i5-9600K 6C/6T，只有 AVX2
RAM 128GB DDR4
ROCm / Strata 7.14.1（hipBLASLt 100401 调优表命中）/ v0.1.41 HIP
模型 Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S（IQ3_S，83.6 GB 两片），来自 ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF
Context / 图像 131072 / 开（strata-vision-hip GPU 编码器 + BF16 mmproj）

2. 关键参数

参数 值
--ple-io ram
--pcie-frac 0.55（写死；不写则引擎自测出 0.37）
--pool-workers 3
--kv / --kv-resident int8 / 32768
--spec / --spec-min-p 4 / 0.5
--adapt-every / -swaps / -decay 1 / 80 / 0.97
idle_unload_s 1800

后四项来自 --calibrate。--pool-workers 别往大调：3 → 55.3 t/s，5 → 46.4，2 → 49.7。

3. 经验

  1. --ple-io ram 是这台机器的命门。 PLE 表 26.82 GiB（512 亿参数，IQ4_NL），默认直读盘、每 window 卡在 330 MB/s。搬进内存后 22 → 65；代价是常驻 26.82 GiB，第二次重启只要 1.1 秒（页缓存已热）。
  2. --calibrate 值得跑（只调 4 项，实测 +19%），但注意它会把没保留下来的 flag 直接删掉退回产品默认。
  3. 参数好坏要看 /metrics 里的真实流量，别只信合成 benchmark。 我用"反复读同一批文档"的 prompt 测（专家缓存命中率 92 ~ 97%，几乎不 miss），结论是 --pcie-frac 越高越慢；换成不同话题的真实对话（命中率 80 ~ 90%、40K 上下文），0.55 比 0.37 快 50%。miss 越少，PCIe 这条路越不划算 —— 拿一个「不 miss」的场景去否定一个专门处理 miss 的参数，方法本身就错了
]]>https://lcz.me/topic/2224RSS for NodeMon, 12 Oct 2026 12:24:33 GMTFri, 09 Oct 2026 13:59:07 GMT60<![CDATA[Reply to 7900 XTX + 128g 内存 单卡跑 Strata + Qwen3.8 Flash-Next， 踩坑经验分享 on Sun, 11 Oct 2026 23:22:05 GMT]]>PLE 塞进内存这个思路好，感谢提醒，正好要加内存

]]>https://lcz.me/post/24099https://lcz.me/post/24099Sun, 11 Oct 2026 23:22:05 GMT