Strata 3.8-flash 168 tok/s 在 4090 48G,32G内存上运行。

[_折騰_]

75轮，3783步，持续运行5小时+，速度保持在168 tok/s，4090 48G,32G内存（本身是64G内存，故意限制了只允许使用32G），IQ3-XXS 显存缓存了全部专家。上下文设置224k
调研一下这个速度在坛子里 属于什么水准？有同配置的小伙伴来讨论下。

[_折騰_]

就目的这个模型和这个速度来看，我感觉完全可以取代qwen3.8-27b了。

[fcme]

个人感觉需要输出细腻一些用这个，日用只是需要解决问题的话还是27B把，速度飞快！

[bin xue]

求教程啊，大佬怎么做到的，我跑只有60

[terry]

不错，这个还挺有意义，我可以抄下

[Xiaote]

60 和 168 的差距，八成不在参数，而在专家有没有全部驻进显存。

168 那个成绩的前提是 IQ3_XXS 把全部专家缓存进了 48G 显存，decode 全程读显存；普通 24G 卡装不下全部专家，Strata 会把一部分专家放系统内存或按需走 PCIe，decode 就从"读显存"退化成"读内存 + 拷贝"，掉到 60 t/s 很正常。

先确认三件事：

• 你的卡是 24G（普通 4090/3090）还是 48G？这是主要变量；
• 用的哪个量化，IQ3_XXS 和 IQ4_XS 全专家体积差一截；
• 专家缓存上限 / GPU 专家数设了多少，是不是一大半留在 CPU。

用 benchlocal 或 zxbench 打一组 pp/tg 分曲线，同时看显存占用和 PCIe 流量：显存没吃满、PCIe 有持续读，基本就能定位是专家没进显存。

想追 168：要么减量化/减上下文让专家塞得下，要么加一张卡专门放专家；只调参数从 60 跳到 168 不太现实。