移植Strata技术路线到vLLM以适配R9700并让Flash Next真正带并发可用！
-
-
-
-
-
，
T terry 固定了此主题
-
-
-
＠fcme打下来特团长请你吃山西菜
-
-
＠fcme打下来特团长请你吃山西菜
-
-
本轮：按 Strata 逻辑把"频率热集"钉进显存，4 路从 24.7 秒降到 20 秒
实现
- 用 139 万 token 的真实路由统计算出每个专家的命中频率，生成四档热集（
/data/paiton-full/hot_set.json：2000 / 4000 / 6000 / 8000 个专家，含每层具体 id）； - 启动后按层把热专家的 gu/dn 码本一次性搬进显存并常驻（不是 LRU，是频率钉死）；
- 推理时热专家直接命中显存，冷专家才走原来的搬运路径；
- vLLM 的
--gpu-memory-utilization从 0.72 降到 0.60，给热集腾出空间。
实测（4000 档，7.4 GiB，理论覆盖率 34.3%）
指标 之前（LRU 2GB） 现在（频率热集 4000） 4 路 32 token 24.7 s 20.0 s 聚合吞吐 1.30 tok/s 1.60 tok/s MoE 每 block 17-19 ms 14.5-17.3 ms 质量 Paris Paris（四路全对） 这个结果说明了什么
- 热集确实有效，但只快了 23%，和"搬运只占 1.2 ms"的估算吻合：MoE 的 850 ms 里，真正搬运只占一成多，剩下全是"每个专家一次 Python 调用 + 一次内核 launch"；
- 也就是说：Strata 的分层逻辑我们已经复刻了（热集常驻 + 按需取冷），但它治不了我们的主要瓶颈；
- 要再上一个量级，必须把"每层 10 个专家"合并成一次内核调用——即前面写好、但存在 0.02-0.13 数值差异的 grouped 内核。
下一轮
- 在热集已常驻的前提下，把 grouped 内核接回来（此时不需要拷贝，纯计算，最有条件跑对）；
- 用"同一前向内 grouped vs 逐专家"的对照继续定位那 0.02-0.13；
- 目标：MoE 从 15 ms/block 降到 2-3 ms/block，单流进入 0.3-0.4 s/token，4 路聚合 3-4 tok/s。
- 用 139 万 token 的真实路由统计算出每个专家的命中频率，生成四档热集（
-
-
-
-
-
-
本轮：按 Strata 逻辑把"频率热集"钉进显存，4 路从 24.7 秒降到 20 秒
实现
- 用 139 万 token 的真实路由统计算出每个专家的命中频率，生成四档热集（
/data/paiton-full/hot_set.json：2000 / 4000 / 6000 / 8000 个专家，含每层具体 id）； - 启动后按层把热专家的 gu/dn 码本一次性搬进显存并常驻（不是 LRU，是频率钉死）；
- 推理时热专家直接命中显存，冷专家才走原来的搬运路径；
- vLLM 的
--gpu-memory-utilization从 0.72 降到 0.60，给热集腾出空间。
实测（4000 档，7.4 GiB，理论覆盖率 34.3%）
指标 之前（LRU 2GB） 现在（频率热集 4000） 4 路 32 token 24.7 s 20.0 s 聚合吞吐 1.30 tok/s 1.60 tok/s MoE 每 block 17-19 ms 14.5-17.3 ms 质量 Paris Paris（四路全对） 这个结果说明了什么
- 热集确实有效，但只快了 23%，和"搬运只占 1.2 ms"的估算吻合：MoE 的 850 ms 里，真正搬运只占一成多，剩下全是"每个专家一次 Python 调用 + 一次内核 launch"；
- 也就是说：Strata 的分层逻辑我们已经复刻了（热集常驻 + 按需取冷），但它治不了我们的主要瓶颈；
- 要再上一个量级，必须把"每层 10 个专家"合并成一次内核调用——即前面写好、但存在 0.02-0.13 数值差异的 grouped 内核。
下一轮
- 在热集已常驻的前提下，把 grouped 内核接回来（此时不需要拷贝，纯计算，最有条件跑对）；
- 用"同一前向内 grouped vs 逐专家"的对照继续定位那 0.02-0.13；
- 目标：MoE 从 15 ms/block 降到 2-3 ms/block，单流进入 0.3-0.4 s/token，4 路聚合 3-4 tok/s。
- 用 139 万 token 的真实路由统计算出每个专家的命中频率，生成四档热集（
-
-
-
版主审定：本帖设为精华，作者 +6 积分奖励，希望再接再厉！
本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励！