4张4080系列 2x4080s + 2x4080 用strata 最新的0.2.4 1M上下文 ISTA DASLab 的Iq2xs 本地实测
实际输入 Prefill Decode 首 token（含思考）
32,732 token 703 tok/s 43.3 tok/s 46.6 秒
131,050 token 1,065 tok/s 42.9 tok/s 123.4 秒
单人使用可用 但是 想爽玩还是的QFN q80
M
muskelon
@muskelon
-
【最新】Strata专为Deepseek V4.1 Flash 1017 + GLM 5.3做的新分支-Project-Maya -
3090还是3090 *2+NVLink目前单3090 跑qwen 3.6 q4km 用了Truboquant 可以跑128k上下文 没什么问题