Tesla V100 32GB Pcie 单卡 跑 Qwen3.8-Flash-Next IQ2_XS 256K上下文 实测速度 80-90tok/s ，最高100token/s以上

[vosrock]

这个神框架真的是复活了很多老卡，入门卡，包括我手里的3080，不过大家不要盯着速度，既然能跑，还是得考虑下质量，IQ3S已经是最低的选择了

[Prio]

@vosrock 主要是我放codex 里面只能控制思考低，不能关掉思考，神了，大思考很麻烦

[Prio]

补一个长上下文的情况，还是平均有50-60的

[kenshin]

有点再下单v100 32G的冲动。哈哈哈

[terry]

V100跑27B更合适，你跑3.8 FLash Next IQ2 量化太严重了。

[seabass]

我有双2080 和 v100, v100 也跑strata跑得不错

[stxpnet]

V100跑不动IQ3那个量化吗？

[vosrock]

我的选择是跑IQ4XS，上下文用INT8或者FP16,速度在50TS上下，预填充可以到2400左右，而且衰减很慢，到了200K上下文依然还有1800以上，这个推理框架或者说这个模型输出速度是不会衰减的，很强

[Prio]

@vosrock 请问大佬你的显卡是V100吗

[seabass]

我的 Tesla V100 32GB PCIe 跑 Qwen3.8-Flash-Next IQ3_S
Strata | 200K 上下文 | 视觉 开 | speculative decoding 开 | 1 slot

模拟真实多轮对话测试：每轮新增约 10K tokens + 提问，AI 回复保留在历史里，前缀缓存全程命中，一直聊到 183K。

| 已用上下文 | 解码 | 首字延迟(新增10K) | 预填充 |
| 10–40K | 70–89 t/s | 8.5–9.2 秒 | 1100–1180 t/s |
| 50K | 74.5 t/s | 9.4 秒 | 1081 t/s |
| 60–100K | 49–57 t/s | 10.5–13.7 秒 | 780–975 t/s |
| 110–150K | 49–60 t/s | 14–15.6 秒 | 695–765 t/s |
| 160–183K | 48–61 t/s | 16.5–17.2 秒 | 634–662 t/s |

结论：

• 50K 以内 70–89 t/s，跟 IQ2_XS 差不多快
• 60K 以后降到约 50–60 t/s，然后一直稳定到 183K，没有继续明显掉速
• 有前缀缓存的话，即使 180K 上下文，每轮新增 10K 也只要约 17 秒首字

[dardeaw feng]

我去訂了一套V100 16G*2 + 華南金牌X99 + E5 2686 V4 + DDR3 1866 128G，含機箱礦電SSD就5000有找，到時挑戰看看Q4能不能跑起來

[gao Gao]

此主題已被删除！

[vosrock]

@Prio 不是啊，我是3080

[ikum]

v100 单卡性价比还是不如 3080，差不多的价格 3080 20g 可以跑 iq3xxs 256k 70～80token

[Xiaote]

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h2170-3867-1（系统自动发放，显示稍有延迟）

[terry]

@ikum 3080 20G体质不行，它性能很强，但是魔改容易坏，4090魔改都常坏。