不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！
-
今晚有看到 "最低 8G 視訊記憶體！就能跑 Qwen3.8-Flash-Next 大模型！125B 塞進記憶體，支援N卡、A卡" 晚點試試,
Strata 怎麼有辦法跑這麼快？RTX 5070 Ti 16GB 更新 第一批速度數字（初測）
- 66 prompt tokens → 200 輸出 tokens，3.28 s → 約 61 tok/s
- 與官方宣稱（RTX 5070 12GB 上 IQ3_XXS 短聊天 62 tok/s）幾乎一致 —— 用 16GB 卡 + MTP + vision，沒有因為容器化而掉速
目標LLM : Swift-Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS.gguf (76GB)
我選擇GSQ-RCO 是因為根據Qwen3.8-27B的使用經驗, ISTA-DasLab的在量化壓縮的效果表現非常傑出
https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-GGUF -
-
Qwen3.8-Flash-Next 激活参数只有6B, 激活参数加载后, decode 跑到 100 应该没什么问题.
但问题是加载和TTFT, 我想可能Coding 路由的专家层比较固定, 所以表现更好. 而聊天的路由经常变化, 需要加载时间更长. 总体表现就差一点儿.
@johnnybegood TTFT的速度怎么样, 感觉能干活吗?
@Tony-Wang 没问题，速度很快。如果是多轮有缓存命中的话，非常快。
-
今晚有看到 "最低 8G 視訊記憶體！就能跑 Qwen3.8-Flash-Next 大模型！125B 塞進記憶體，支援N卡、A卡" 晚點試試,
Strata 怎麼有辦法跑這麼快？RTX 5070 Ti 16GB 更新 第一批速度數字（初測）
- 66 prompt tokens → 200 輸出 tokens，3.28 s → 約 61 tok/s
- 與官方宣稱（RTX 5070 12GB 上 IQ3_XXS 短聊天 62 tok/s）幾乎一致 —— 用 16GB 卡 + MTP + vision，沒有因為容器化而掉速
目標LLM : Swift-Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS.gguf (76GB)
我選擇GSQ-RCO 是因為根據Qwen3.8-27B的使用經驗, ISTA-DasLab的在量化壓縮的效果表現非常傑出
https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-GGUF@kos-or 他github上面有解释，优化了专家和内存的分配算法，附件是它具体的Paper。Strata-Paper.pdf
-
-
，
T terry 固定了此主题
-
-
啥，那qwen3.8-27b就这样被淘汰了？
@marsempire 那倒不是， 这个很难说， 还是给大家多一个选择， 至于适不适合自己， 还是得自己去试，每个人工作环境和需求都不一样。 之前老特也做过相关的测试， 他就还是觉得27B好用的。
-
-
-
-
-
我自己也跑了跑 ，论坛里面已经有兄弟发了类似的帖子 https://lcz.me/topic/1987
只是他用的3080， 我就懒得详细弄了， 我跑的参数跟他不太一样， 只写几行提示， 感兴趣的兄弟自己去试验：关键词：
1、单卡 3090 24G
2、64G 内存以上
3、 项目地址 https://github.com/Niko1221/Strata
4、 模型选用 swift-Qwen3.8 Flash Next IQ3_XXS 特别优化、无损接近Q4
5、上下文128K， Coding > 100tok/s , Chat> 60tok/s多了不说了， 只贴一张图。3090真是潜力无限，我瘫坐在椅子上。
安装
环境要求
- 显卡: NVIDIA RTX 30、40 或 50 系列,显存 12 GB 及以上
- 内存: 足够装下你选择的模型大小
- 磁盘: 约 80 GB 空闲空间 —— 用固态硬盘首次启动会快很多
- 系统: Windows 10/11 或 Linux
唯一需要你自己装的是当前版本的 NVIDIA 驱动。其余全部由脚本自动装好。
Windows
- 下载本项目并解压(或
git clone)。 - 双击
START-HERE.bat。 - 回答几个问题,或一路按回车采用推荐选项。
- 下载全部内容(模型约 70 GB,首次耗时较久,支持断点续传)并启动。
- 浏览器打开
http://127.0.0.1:8080。
首次启动会很慢,可能 1–3 分钟无响应,属正常现象,不要关窗口。
下次启动
再双击
START-HERE.bat即可,不会重复下载。关闭窗口即停止模型。更新
解压新版或
git pull后运行START-HERE.bat。模型文件存在
Strata-data文件夹,不会重复下载。Linux
运行
./setup.sh -
@johnnybegood 大侠你有没有不同上下文的prefill和decode数字？
-
啥，那qwen3.8-27b就这样被淘汰了？
-
-
刚装好玩了一下，感觉可以啊，4080S 32g加64g内存，能70-90tok/s，有时跑到100多。
关键似乎稍长的任务，显卡温度没那么高了，风扇不像跑27b那样频繁呼呼响了，不知道是不是错觉……
-
RTX 5070 Ti 16GB 上下文可以直接開到 256K, 應該是用到 RAM
不知道為何它decode是越來越快, 可能MTP的因素
[strata] reading the prompt: 9,876 tokens, 10 s so far
[strata] reading the prompt: 8,124 of 9,876 tokens, 15 s so far
[strata] reading the prompt: 9,871 of 9,876 tokens, 20 s so far
[strata] thinking: 48 of max 32768 tokens, 72.2 tok/s, 21 s
[strata] thinking: 119 of max 32768 tokens, 69.8 tok/s, 22 s
[strata] thinking: 203 of max 32768 tokens, 74.6 tok/s, 23 s
[strata] thinking: 296 of max 32768 tokens, 79.1 tok/s, 25 s
[strata] thinking: 404 of max 32768 tokens, 84.8 tok/s, 26 s
[strata] thinking: 505 of max 32768 tokens, 87.5 tok/s, 27 s
[strata] thinking: 612 of max 32768 tokens, 90.2 tok/s, 28 s
[strata] thinking: 719 of max 32768 tokens, 92.3 tok/s, 29 s
[strata] thinking: 811 of max 32768 tokens, 92.2 tok/s, 30 s
[strata] thinking: 918 of max 32768 tokens, 93.5 tok/s, 31 s
[strata] thinking: 1031 of max 32768 tokens, 95.2 tok/s, 32 s
[strata] thinking: 1131 of max 32768 tokens, 95.5 tok/s, 33 s -
-
-
