升级后单卡7900xtx，strata 可以跑 100token/s 了！！
-
图上的是真实生产跑的速度 能到100， 测试跑的矩阵 的速度是这样的：
已测的是 2K、16K、64K、128K、220K 输入，每档分别测单路和双路，输出上限 1024 token。下面是已完成格的实测速度；双路数字是“每路”，不是相加后的吞吐：2K：单路 Decode 109.4 tok/s；双路各 109.7、114.1 tok/s；整批约 16 秒。
16K：单路 104.3；双路各 104.6、103.1 tok/s；整批约 26 秒。
64K：单路 97.9；双路各 96.2、96.8 tok/s；整批约 72 秒。
128K：单路 94.1；双路各 94.7、94.4 tok/s；整批约 138 秒。
220K：单路 90.3 tok/s，Prefill 约 226 秒，整次约 238 秒；
测试容器是 ROCm 10.1.0 + Strata 0.1.44.1、双单卡 replicas -
-
-
-
-
如图：
刚升级了最新的 rom 10.1 ，strata 版本 v0.1.44 , 一起升级的，这是什么奇妙的化学反应！！！
-
-
-
@farmer-node 我也升了， 速度没升也没降， 但SSD疯狂读盘， 只要agent干活， 就在读ssd。 好奇怪， 我看你的ssd几乎是不动的
@J-Z-0 https://lcz.me/topic/2317/33 ， 这个是我设备的硬件，我想的是之前贴了，这里就不贴了，EYPC 的平台， 参数这里都有， 唯一改了的就是 这个参数 --ple-io mmap
-
@coin1860 https://lcz.me/topic/2317 这个帖子有详细参数信息，
唯一改了的就是 这个参数 --ple-io mmap，模型用的Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-proj -
-
prefill有多少？
@Hackner-Weinland 最高2000左右，单卡
-
@J-Z-0 https://lcz.me/topic/2317/33 ， 这个是我设备的硬件，我想的是之前贴了，这里就不贴了，EYPC 的平台， 参数这里都有， 唯一改了的就是 这个参数 --ple-io mmap
-
@farmer-node 我在另一个帖子贴了我的问题， 44和43的某些行为肯定不一样， 但我不明白为什么。 打算换个nvme硬盘， 然后再试试
-
-
-
@J-Z-0 嗯，我在那边恢复你了，你 --ple-io ram 这个设置错了， 要设置 --ple-io mmap
-
@farmer-node 一开始默认是mmap， 但ssd太慢了，吐字速度只有10几tks/s，所以把ngram塞进ram。不过不重要了，我买了个杂牌nvme，周末到了试试
-
我是让Hermes抄作业。调优出答案是tier自适应后提速了。但我的是pcie3，达不到楼主的100t/s。
改完并验证，保留这个配置（效果明显，不改回去）。 改动：--adapt-every 0 → --adapt-every 2，加 --adapt-async 1（原配置备份在 strata-orca-iq3_xxs.json.bak-pre-adapt） 指标 改前 改后 解码显存命中率 35.8% 93.6-94.3% 2K/1024 解码 41.0 tok/s 66.5-67.7 tok/s (+63%) 9.3K 提示词解码 42.2 58.0 冷 / 78.4 热 端到端(含预填充) 37.0 66-67 预填充 15K 1476.5 1632.9 (没受损，略快) 常驻/显存余量 30.18 GiB / 902 MiB 不变 引擎自己确认自适应已生效： adaptive swaps exchange them with the GPU cache (no file reads) adaptive tier asynchronous (--adapt-async 1): up to 96 swaps per round, a round every 2 windows asynchronous adaptive tier: 430 rounds, 17745 experts swapped in, ~101 ms per round 每轮 ~100ms 跑在解码窗口之间，所以预填充没被拖累。热得很快 —— 重启后第一个请求就 90.6%，不需要预热跑一堆。 还差的一段 他要 100+，我们在 67。剩下的差距不在 ROCm、也不在这个开关了，主要是：他的 pack 量化档（专家更小 → 24G 装得下更多，我们只有 8780/24576 = 35.7% 能进显存）、以及 host 内存带宽/CPU。我们的 24G 卡在这套 IQ3_S 上，67 tok/s 已经接近这套配置的天花板。 一个可选小改进 加 --expert-profile-save，把学到的路由频次存下来，以后重启直接从你的真实流量热启动（现在重启 后会退回仓库自带那个不匹配的 profile，第一请求 60.6 而不是 67）。要的话我加上，需要再重启一次。 顺带：这个坑和官方文档推荐的 7900 XTX 配置（写的是 --adapt-every 0）是冲突的 —— 已写进 strata skill，附带诊断方法（看 decode expert cache hit rate 是否≈显存槽位占比）。 -
我是让Hermes抄作业。调优出答案是tier自适应后提速了。但我的是pcie3，达不到楼主的100t/s。
改完并验证，保留这个配置（效果明显，不改回去）。 改动：--adapt-every 0 → --adapt-every 2，加 --adapt-async 1（原配置备份在 strata-orca-iq3_xxs.json.bak-pre-adapt） 指标 改前 改后 解码显存命中率 35.8% 93.6-94.3% 2K/1024 解码 41.0 tok/s 66.5-67.7 tok/s (+63%) 9.3K 提示词解码 42.2 58.0 冷 / 78.4 热 端到端(含预填充) 37.0 66-67 预填充 15K 1476.5 1632.9 (没受损，略快) 常驻/显存余量 30.18 GiB / 902 MiB 不变 引擎自己确认自适应已生效： adaptive swaps exchange them with the GPU cache (no file reads) adaptive tier asynchronous (--adapt-async 1): up to 96 swaps per round, a round every 2 windows asynchronous adaptive tier: 430 rounds, 17745 experts swapped in, ~101 ms per round 每轮 ~100ms 跑在解码窗口之间，所以预填充没被拖累。热得很快 —— 重启后第一个请求就 90.6%，不需要预热跑一堆。 还差的一段 他要 100+，我们在 67。剩下的差距不在 ROCm、也不在这个开关了，主要是：他的 pack 量化档（专家更小 → 24G 装得下更多，我们只有 8780/24576 = 35.7% 能进显存）、以及 host 内存带宽/CPU。我们的 24G 卡在这套 IQ3_S 上，67 tok/s 已经接近这套配置的天花板。 一个可选小改进 加 --expert-profile-save，把学到的路由频次存下来，以后重启直接从你的真实流量热启动（现在重启 后会退回仓库自带那个不匹配的 profile，第一请求 60.6 而不是 67）。要的话我加上，需要再重启一次。 顺带：这个坑和官方文档推荐的 7900 XTX 配置（写的是 --adapt-every 0）是冲突的 —— 已写进 strata skill，附带诊断方法（看 decode expert cache hit rate 是否≈显存槽位占比）。
