【实测】Strata 0.2.7.1 12GB NV显卡打了鸡血 RTX5070 IQ3_S平均超过110tok/s
-
应用和终端都是0.2.7。Control和所有引擎包（Qwen和DeepSeek）都升级到0.1.52，因为两个引擎都变了。这个版本提升很明显，GPU以前只用一半左右，现在基本满载了。
12GB或以下的NVIDIA显卡响应更快。路由器现在更倾向于显卡上已有的专家，这样就能节省内存中的分页。实测在RTX 5070 12 GB（Qwen3.8-Flash-Next IQ3_XXS）平均Decode超过90tok/s。
今天又测试了一下RTX 5070 12 GB（Qwen3.8-Flash-Next IQ3_S）,没有想到直接起飞了，居然比IQ3_XXS还快，平均Decode超过110tok/s。
欢迎大家升级测试。
-
-
-
-
应用和终端都是0.2.7。Control和所有引擎包（Qwen和DeepSeek）都升级到0.1.52，因为两个引擎都变了。这个版本提升很明显，GPU以前只用一半左右，现在基本满载了。
12GB或以下的NVIDIA显卡响应更快。路由器现在更倾向于显卡上已有的专家，这样就能节省内存中的分页。实测在RTX 5070 12 GB（Qwen3.8-Flash-Next IQ3_XXS）平均Decode超过90tok/s。
今天又测试了一下RTX 5070 12 GB（Qwen3.8-Flash-Next IQ3_S）,没有想到直接起飞了，居然比IQ3_XXS还快，平均Decode超过110tok/s。
欢迎大家升级测试。
参数基本就通过strata自动优化。
"args": [ "--pack", "D:\\strata-windows-x64\\Strata-data\\packs\\iq3_s", "--native", "D:\\strata-windows-x64\\Strata-data\\models\\IQ3_S\\Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00001-of-00002.gguf", "--ple-gguf", "D:\\strata-windows-x64\\Strata-data\\models\\IQ3_S\\Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00002-of-00002.gguf", "--expert-profile", "D:\\strata-windows-x64\\Strata\\data\\expert-profile.bin", "--expert-cache", "auto", "--prefill", "auto", "--spec", "4", "--spec-min-p", "0.7", "--mtp", "D:\\strata-windows-x64\\Strata-data\\mtp\\rt", "--max-context", "262144", "--kv", "q4_0", "--kv-resident", "32768", "--vram-reserve-mib", "700", "--pcie-frac", "0.35", "--adapt-every", "1", "--adapt-swaps", "160", "--adapt-decay", "0.97" ] -
-
-
-
-
-
@terry 又折腾了一下午， 现在7900xtx 128g ddr4，cpu是5900xt， 150k 上下文， 跑 Q4_K_XL从60tps升到80多，prefill 3800左右（32k读取），而且启动速度也明显变快了。 还是很值得折腾的，得益于版友们分享的参数优化
-
-
@terry 又折腾了一下午， 现在7900xtx 128g ddr4，cpu是5900xt， 150k 上下文， 跑 Q4_K_XL从60tps升到80多，prefill 3800左右（32k读取），而且启动速度也明显变快了。 还是很值得折腾的，得益于版友们分享的参数优化
