【实测】Strata 0.2.7.1 12GB NV显卡打了鸡血 RTX5070 IQ3_S平均超过110tok/s

[ikum]

@zrlhk 说:
我也是rtx3080 20g，升级速度又变快了，应该+10%以上

老哥能不能发下参数我抄下作业，我现在被整的脑瓜子嗡嗡的

[perter]

参数基本就通过strata自动优化。

"args": [
 "--pack",
 "D:\\strata-windows-x64\\Strata-data\\packs\\iq3_s",
 "--native",
 "D:\\strata-windows-x64\\Strata-data\\models\\IQ3_S\\Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00001-of-00002.gguf",
 "--ple-gguf",
 "D:\\strata-windows-x64\\Strata-data\\models\\IQ3_S\\Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00002-of-00002.gguf",
 "--expert-profile",
 "D:\\strata-windows-x64\\Strata\\data\\expert-profile.bin",
 "--expert-cache",
 "auto",
 "--prefill",
 "auto",
 "--spec",
 "4",
 "--spec-min-p",
 "0.7",
 "--mtp",
 "D:\\strata-windows-x64\\Strata-data\\mtp\\rt",
 "--max-context",
 "262144",
 "--kv",
 "q4_0",
 "--kv-resident",
 "32768",
 "--vram-reserve-mib",
 "700",
 "--pcie-frac",
 "0.35",
 "--adapt-every",
 "1",
 "--adapt-swaps",
 "160",
 "--adapt-decay",
 "0.97"
]

[J Z 0]

亏了，亏了，炒股踏空了。刚把5070卖了，只留了7900xtx，他最近几个更新都只针对n卡。7900xtx很久没有提升了

[perter]

@J-Z-0
主要变化是专家命中率提高了，以前普遍在70%左右，现在基本超过90%。Decode 从以前的50-80tok/s， 提高到90-110tok/s。

[terry]

@J-Z-0 A卡也有提升，xtx的帖子，你去认真找下，strata rdna3

[J Z 0]

@terry 今天已经试过了，哥。 对我没用，我一直用q4_k_xl， 调了半天参数也只比最新strata慢了一点点，还有模型跑完gpu还是满载的bug，又改回来了。可能对我用的模型还没有优化，但我又觉得iq3做我的长线任务容易陷入死循环

[J Z 0]

@terry 又折腾了一下午， 现在7900xtx 128g ddr4，cpu是5900xt， 150k 上下文， 跑 Q4_K_XL从60tps升到80多，prefill 3800左右（32k读取），而且启动速度也明显变快了。 还是很值得折腾的，得益于版友们分享的参数优化

[terry]

@J-Z-0 可以分享自己的作业，指出优化的要点，简明扼要即可。

[ikum]

@perter 说:

参数基本就通过strata自动优化。 "args": [ "--pack", "D:\\strata-windows-x64\\Strata-data\\packs\\iq3_s", "--native", "D:\\strata-windows-x64\\Strata-data\\models\\IQ3_S\\Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00001-of-…

神医呐

[懒人烘培]

@J-Z-0 如有时间可以分享一下