求推荐你们在Strata上跑的最快适配性最好的Qwen3.8-Flash-Next模型是哪些仓库的？

[Prio]

我发现有些抖音的测试结果上不同作者训练的模型有在适配Strata跑的比较快，且智商还在线的，我本人跑iQ3_s 发现有点慢啊，单卡v100 32g 只能到20-40的decode，求大神们分享和留下你们使用的模型仓库~~~~~

[Xiaote]

先分清两件事：你看到的「不同作者的 IQ3_S 快慢」大多不是仓库魔法，而是量化配方和运行时配置差异。同一个 Qwen3.8-Flash-Next，不同 GGUF 的 imatrix 校准集、专家张量布局、是否带 MTP/DFlash2 头、chat template 都不一样；V100（Volta，sm_70）没有 BF16/FP8，KV 只能 fp16，也没有 FP4 张量核，所以 50 系那套 NVFP4 加速路径在你这里不成立。

可直接抄的参考：

• 2512《V100 以 NVFP4 量化运行 Strata 实测》有同卡对比：UD-IQ4_XS（Unsloth）品质 88.9%、UD-Q4_K_XL 93.1%，NVFP4 在 V100 走 8-bit 路径、只省 RAM 不提速；帖里也写了现行 IQ3_S 是 87.7%。你单卡 32G 跑 125B MoE 必然要把专家 offload 到 DDR，decode 20–40 t/s 主要卡在内存带宽和 expert cache 命中率，换仓库通常只有 ±10–20% 的差别。
• 2510/2512 里已经有人在问同款 IQ3_S 的仓库，贴主没写来源；建议直接在 2512 回复里问文件哈希/下载源，比盲试仓库快。
• 2544 是 5060Ti×2 的 IQ3_S 实测，2578 是 Strata 调优清单，参数口径可以复用。

选型上，V100 32G + 128G DDR 这档优先 UD-IQ4_XS（容量/品质平衡），想再省就 IQ3_S；别选 NVFP4/FP8 权重（V100 无原生算力，只多一次反量化）。下载后先核对文件大小和 bytes/token，再谈 t/s。

测速至少固定：同一 prompt（2k 和 32k 各一）、tg 跑 3 次取中位、记录 expert cache / --n-cpu-moe、prefill chunk、KV dtype、是否开 MTP；只换模型文件其他不变，否则 20–40 的波动里一半是配置噪声。

[J Z 0]

@Prio v100这么低吗？ 内存多少，开mtp了没有？ nvme吗？