升级后单卡7900xtx，strata 可以跑 100token/s 了！！
-
prefill有多少？
@Hackner-Weinland 最高2000左右，单卡
-
@J-Z-0 https://lcz.me/topic/2317/33 ， 这个是我设备的硬件，我想的是之前贴了，这里就不贴了，EYPC 的平台， 参数这里都有， 唯一改了的就是 这个参数 --ple-io mmap
-
@farmer-node 我在另一个帖子贴了我的问题， 44和43的某些行为肯定不一样， 但我不明白为什么。 打算换个nvme硬盘， 然后再试试
-
-
-
@J-Z-0 嗯，我在那边恢复你了，你 --ple-io ram 这个设置错了， 要设置 --ple-io mmap
-
@farmer-node 一开始默认是mmap， 但ssd太慢了，吐字速度只有10几tks/s，所以把ngram塞进ram。不过不重要了，我买了个杂牌nvme，周末到了试试
-
我是让Hermes抄作业。调优出答案是tier自适应后提速了。但我的是pcie3，达不到楼主的100t/s。
改完并验证，保留这个配置（效果明显，不改回去）。 改动：--adapt-every 0 → --adapt-every 2，加 --adapt-async 1（原配置备份在 strata-orca-iq3_xxs.json.bak-pre-adapt） 指标 改前 改后 解码显存命中率 35.8% 93.6-94.3% 2K/1024 解码 41.0 tok/s 66.5-67.7 tok/s (+63%) 9.3K 提示词解码 42.2 58.0 冷 / 78.4 热 端到端(含预填充) 37.0 66-67 预填充 15K 1476.5 1632.9 (没受损，略快) 常驻/显存余量 30.18 GiB / 902 MiB 不变 引擎自己确认自适应已生效： adaptive swaps exchange them with the GPU cache (no file reads) adaptive tier asynchronous (--adapt-async 1): up to 96 swaps per round, a round every 2 windows asynchronous adaptive tier: 430 rounds, 17745 experts swapped in, ~101 ms per round 每轮 ~100ms 跑在解码窗口之间，所以预填充没被拖累。热得很快 —— 重启后第一个请求就 90.6%，不需要预热跑一堆。 还差的一段 他要 100+，我们在 67。剩下的差距不在 ROCm、也不在这个开关了，主要是：他的 pack 量化档（专家更小 → 24G 装得下更多，我们只有 8780/24576 = 35.7% 能进显存）、以及 host 内存带宽/CPU。我们的 24G 卡在这套 IQ3_S 上，67 tok/s 已经接近这套配置的天花板。 一个可选小改进 加 --expert-profile-save，把学到的路由频次存下来，以后重启直接从你的真实流量热启动（现在重启 后会退回仓库自带那个不匹配的 profile，第一请求 60.6 而不是 67）。要的话我加上，需要再重启一次。 顺带：这个坑和官方文档推荐的 7900 XTX 配置（写的是 --adapt-every 0）是冲突的 —— 已写进 strata skill，附带诊断方法（看 decode expert cache hit rate 是否≈显存槽位占比）。 -
我是让Hermes抄作业。调优出答案是tier自适应后提速了。但我的是pcie3，达不到楼主的100t/s。
改完并验证，保留这个配置（效果明显，不改回去）。 改动：--adapt-every 0 → --adapt-every 2，加 --adapt-async 1（原配置备份在 strata-orca-iq3_xxs.json.bak-pre-adapt） 指标 改前 改后 解码显存命中率 35.8% 93.6-94.3% 2K/1024 解码 41.0 tok/s 66.5-67.7 tok/s (+63%) 9.3K 提示词解码 42.2 58.0 冷 / 78.4 热 端到端(含预填充) 37.0 66-67 预填充 15K 1476.5 1632.9 (没受损，略快) 常驻/显存余量 30.18 GiB / 902 MiB 不变 引擎自己确认自适应已生效： adaptive swaps exchange them with the GPU cache (no file reads) adaptive tier asynchronous (--adapt-async 1): up to 96 swaps per round, a round every 2 windows asynchronous adaptive tier: 430 rounds, 17745 experts swapped in, ~101 ms per round 每轮 ~100ms 跑在解码窗口之间，所以预填充没被拖累。热得很快 —— 重启后第一个请求就 90.6%，不需要预热跑一堆。 还差的一段 他要 100+，我们在 67。剩下的差距不在 ROCm、也不在这个开关了，主要是：他的 pack 量化档（专家更小 → 24G 装得下更多，我们只有 8780/24576 = 35.7% 能进显存）、以及 host 内存带宽/CPU。我们的 24G 卡在这套 IQ3_S 上，67 tok/s 已经接近这套配置的天花板。 一个可选小改进 加 --expert-profile-save，把学到的路由频次存下来，以后重启直接从你的真实流量热启动（现在重启 后会退回仓库自带那个不匹配的 profile，第一请求 60.6 而不是 67）。要的话我加上，需要再重启一次。 顺带：这个坑和官方文档推荐的 7900 XTX 配置（写的是 --adapt-every 0）是冲突的 —— 已写进 strata skill，附带诊断方法（看 decode expert cache hit rate 是否≈显存槽位占比）。 -
@kenshin 可以呀， 60-70 token/s 已经非常可用了，这个模型智商现在，做执行子agent 能完成的很好
