RX 7900 XTX + X99 上跑 strata，qwen3.8flash next iq4_xs，这套参数还有优化空间吗？

[ma yi]

== 硬件 ==
CPU : Intel Xeon E5-2686 v4 @ 2.30GHz（Broadwell，18核36线程，有 AVX2+FMA，无 AVX-512）
主板 : X99 / C612
内存 : 4×16GB DDR3 ECC REG，四通道 1DPC，BIOS 锁 1866（有效带宽实测约 10.9 GB/s）
显卡 : AMD Radeon RX 7900 XTX，gfx1100 / RDNA3，24GB VRAM（rocm-smi: Total 25.75GB / Used 25.61GB）
存储 : NVMe（nvme0n1，实测读约 2.5 GB/s）
系统 : CachyOS（Arch 系），内核 7.2.7-1-cachyos

== 软件 ==
推理引擎 : Strata（serve v0.2.10；引擎 0.1.56，本机源码 AVX2 自编译，
ROCm : 无系统级 ROCm，走 pip bundled SDK（_rocm_sdk_devel + _rocm_sdk_libraries_gfx110X_dgpu，7.10.0），GEMM 经 hipBLASLt
模型 : Unsloth Qwen3.8-Flash-Next UD-IQ4_XS（MoE，3-shard GGUF；专家总量 55.4 GiB，Dynamic IQ4_XS 量化）

== 启动参数 ==
--pack /home/phuai/Strata-data/packs/iq4_xs_abl
--native .../unsloth-UD-IQ4_XS/Qwen3.8-Flash-Next-UD-IQ4_XS-00001-of-00003.gguf
--expert-profile .../data/expert-profile.bin
--expert-cache 12000
--prefill auto:16384
--spec 4 --spec-min-p 0.7
--mtp .../SC117/strata/rt
--max-context 393216
--kv int8 --kv-resident 20480
--vision
--expert-profile-save .../data/expert-profile.live.bin --expert-profile-save-every 15
--adapt-every 1 --adapt-swaps 160 --adapt-decay 0.99
--resident-budget-gib 46
--conversation-cache-mib 4096
--rope-scaling yarn --rope-scale 1.5 --yarn-orig-ctx 262144
--tail-role-token 8678

== 环境变量（9 键）==
STRATA_HIPBLASLT_TUNING=.../tools/hip/gfx1100-hipblaslt-100200.txt
STRATA_HC_Q8=1
STRATA_KVA=1
STRATA_ATTN_LANECELL=1
STRATA_GDN_HEAD=1
STRATA_GDN_PP=2
STRATA_GDN_CONVL2=1
STRATA_GDN_NOY=1
STRATA_CVEC_FUSE=1

== 当前实测指纹 ==
GPU 专家缓存 7424 槽 / 16.73 GiB；显存空闲 356 MiB
RAM 常驻专家 45.50 GiB（page-locked），0 次文件读
decode 命中 86–88%，decode 约 47–56 tok/s，冷 prefill 约 1150 tok/s
瓶颈：只有约 7% 专家进得了显存缓存（cache room 0.07），其余走 RAMVRAM 换入

[ma yi]

内存 : 4×16GB DDR3 ECC REG，四通道 1DPC，BIOS 锁 1866（有效带宽实测约 10.9 GB/s）,这个是测试错了，内存带宽是22G

[空语]

照着3300/99这个目标去调

[exllm]

用rdna3 分支， prefill峰值在3400以上，通常在2600 左右

[Xiaote]

这套瓶颈不在算力，在「只有 7% 专家进显存 + 45.5 GiB 走 DDR3」。22 GB/s 内存带宽下，每 token 只要有 1 GB 专家没命中就是约 45 ms；86–88% 命中已经不错，剩下那 12% 决定尾延迟。

最直接一刀：--kv-resident 20480 吃了约 20 GB 显存，但你日常不会一直跑 393K。若常用 32–64K，先把 --kv-resident 降到 8192、--max-context 65536，--conversation-cache-mib 4096→1024，把腾出的 12–16 GB 全给 --expert-cache（12000→25000+）。命中率上到 95%+ 后，decode 通常还能再涨 20–40%。

其次：--spec 4 扫一遍 2/3/4，MoE 上接受率不一定随 k 涨；--prefill auto:16384 可试 8192，省下的 activation 也给专家缓存。DDR3 这边确认 THP/hugepages 已开、进程绑核，别让 prefill 和专家换入抢内存带宽。

改完用同一段 8K 上下文、固定 seed 复测 decode 和 cache hit，两项一起看，否则容易把「缩短 KV」的假提升当成优化。

[rongda weng]

@exllm 你们都是怎么搞的，我的dcoded怎么才40多

[J Z 0]

@rongda-weng 抄作业就好了，基本7900xtx大家都用 nicejunjie的rdna3 folk。刚测了一下，decode比最新的strata快15%的样子