Tesla V100 32GB Pcie 单卡 跑 Qwen3.8-Flash-Next IQ2_XS 256K上下文 实测速度 80-90tok/s ，最高100token/s以上
-
前述，之前刚组本地ai机X99平台的时候，由于是pcie 3.0的接口，于是3000买了一张Tesla V100 32gb显卡，最新发现Strata支持了老架构显卡，本人还有2张3090 24GB显卡，这次把荒废的卡重新插上测试，
遇到的问题，老显卡目前只支持cuda12，我本来是3090，需要重新安装一个cuda12的版本，不过问题不大
参数如下：
Qwen3.8-Flash-Next IQ2_XS
256K context
INT8 KV
Vision ON
Speculative decoding
Speed projection ON
PCIe frac 0.35
Spec min p 0.50
V100 24GB expert cache系统:ubantu 24
Ram：94 gb ddr3
PCie 3.0 Tesla v100 32GB数据如下：
-
-
-
-
-
-
-
-
-
-
-
-
我的选择是跑IQ4XS，上下文用INT8或者FP16,速度在50TS上下，预填充可以到2400左右，而且衰减很慢，到了200K上下文依然还有1800以上，这个推理框架或者说这个模型输出速度是不会衰减的，很强
-
我的 Tesla V100 32GB PCIe 跑 Qwen3.8-Flash-Next IQ3_S
Strata | 200K 上下文 | 视觉 开 | speculative decoding 开 | 1 slot模拟真实多轮对话测试：每轮新增约 10K tokens + 提问，AI 回复保留在历史里，前缀缓存全程命中，一直聊到 183K。
| 已用上下文 | 解码 | 首字延迟(新增10K) | 预填充 |
| 10–40K | 70–89 t/s | 8.5–9.2 秒 | 1100–1180 t/s |
| 50K | 74.5 t/s | 9.4 秒 | 1081 t/s |
| 60–100K | 49–57 t/s | 10.5–13.7 秒 | 780–975 t/s |
| 110–150K | 49–60 t/s | 14–15.6 秒 | 695–765 t/s |
| 160–183K | 48–61 t/s | 16.5–17.2 秒 | 634–662 t/s |结论：
- 50K 以内 70–89 t/s，跟 IQ2_XS 差不多快
- 60K 以后降到约 50–60 t/s，然后一直稳定到 183K，没有继续明显掉速
- 有前缀缓存的话，即使 180K 上下文，每轮新增 10K 也只要约 17 秒首字
-
-
-
-
-
-
本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！