不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！
-
-
-
-
我自己也跑了跑 ，论坛里面已经有兄弟发了类似的帖子 https://lcz.me/topic/1987
只是他用的3080， 我就懒得详细弄了， 我跑的参数跟他不太一样， 只写几行提示， 感兴趣的兄弟自己去试验：关键词：
1、单卡 3090 24G
2、64G 内存以上
3、 项目地址 https://github.com/Niko1221/Strata
4、 模型选用 swift-Qwen3.8 Flash Next IQ3_XXS 特别优化、无损接近Q4
5、上下文128K， Coding > 100tok/s , Chat> 60tok/s多了不说了， 只贴一张图。3090真是潜力无限，我瘫坐在椅子上。
安装
环境要求
- 显卡: NVIDIA RTX 30、40 或 50 系列,显存 12 GB 及以上
- 内存: 足够装下你选择的模型大小
- 磁盘: 约 80 GB 空闲空间 —— 用固态硬盘首次启动会快很多
- 系统: Windows 10/11 或 Linux
唯一需要你自己装的是当前版本的 NVIDIA 驱动。其余全部由脚本自动装好。
Windows
- 下载本项目并解压(或
git clone)。 - 双击
START-HERE.bat。 - 回答几个问题,或一路按回车采用推荐选项。
- 下载全部内容(模型约 70 GB,首次耗时较久,支持断点续传)并启动。
- 浏览器打开
http://127.0.0.1:8080。
首次启动会很慢,可能 1–3 分钟无响应,属正常现象,不要关窗口。
下次启动
再双击
START-HERE.bat即可,不会重复下载。关闭窗口即停止模型。更新
解压新版或
git pull后运行START-HERE.bat。模型文件存在
Strata-data文件夹,不会重复下载。Linux
运行
./setup.sh -
@johnnybegood 大侠你有没有不同上下文的prefill和decode数字？
-
啥，那qwen3.8-27b就这样被淘汰了？
-
-
刚装好玩了一下，感觉可以啊，4080S 32g加64g内存，能70-90tok/s，有时跑到100多。
关键似乎稍长的任务，显卡温度没那么高了，风扇不像跑27b那样频繁呼呼响了，不知道是不是错觉……
-
RTX 5070 Ti 16GB 上下文可以直接開到 256K, 應該是用到 RAM
不知道為何它decode是越來越快, 可能MTP的因素
[strata] reading the prompt: 9,876 tokens, 10 s so far
[strata] reading the prompt: 8,124 of 9,876 tokens, 15 s so far
[strata] reading the prompt: 9,871 of 9,876 tokens, 20 s so far
[strata] thinking: 48 of max 32768 tokens, 72.2 tok/s, 21 s
[strata] thinking: 119 of max 32768 tokens, 69.8 tok/s, 22 s
[strata] thinking: 203 of max 32768 tokens, 74.6 tok/s, 23 s
[strata] thinking: 296 of max 32768 tokens, 79.1 tok/s, 25 s
[strata] thinking: 404 of max 32768 tokens, 84.8 tok/s, 26 s
[strata] thinking: 505 of max 32768 tokens, 87.5 tok/s, 27 s
[strata] thinking: 612 of max 32768 tokens, 90.2 tok/s, 28 s
[strata] thinking: 719 of max 32768 tokens, 92.3 tok/s, 29 s
[strata] thinking: 811 of max 32768 tokens, 92.2 tok/s, 30 s
[strata] thinking: 918 of max 32768 tokens, 93.5 tok/s, 31 s
[strata] thinking: 1031 of max 32768 tokens, 95.2 tok/s, 32 s
[strata] thinking: 1131 of max 32768 tokens, 95.5 tok/s, 33 s -
-
-
-
分别用这个和27b做了几道题，这个占据明显智商优势，好，以后做大项目决定用这个了……
只有一个问题，求无审查版本
@marsempire 有无审查版的，兄弟。我就试了画鹈鹕，鹈鹕有点智障。https://huggingface.co/orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF
-
@marsempire 有无审查版的，兄弟。我就试了画鹈鹕，鹈鹕有点智障。https://huggingface.co/orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF
-
牛啊，我用4080s+内存试试看
-
@huaye-XU 这个普通的无swift的会不会速度变慢，再等等好了，等待更好的……
每试一个模型都要下几十g，这种更是近乎上百G……我怕我的ssd太短命……@marsempire swift确实更快一点，快10token/s
-
RTX 5070 Ti 16GB 上下文可以直接開到 256K, 應該是用到 RAM
不知道為何它decode是越來越快, 可能MTP的因素
[strata] reading the prompt: 9,876 tokens, 10 s so far
[strata] reading the prompt: 8,124 of 9,876 tokens, 15 s so far
[strata] reading the prompt: 9,871 of 9,876 tokens, 20 s so far
[strata] thinking: 48 of max 32768 tokens, 72.2 tok/s, 21 s
[strata] thinking: 119 of max 32768 tokens, 69.8 tok/s, 22 s
[strata] thinking: 203 of max 32768 tokens, 74.6 tok/s, 23 s
[strata] thinking: 296 of max 32768 tokens, 79.1 tok/s, 25 s
[strata] thinking: 404 of max 32768 tokens, 84.8 tok/s, 26 s
[strata] thinking: 505 of max 32768 tokens, 87.5 tok/s, 27 s
[strata] thinking: 612 of max 32768 tokens, 90.2 tok/s, 28 s
[strata] thinking: 719 of max 32768 tokens, 92.3 tok/s, 29 s
[strata] thinking: 811 of max 32768 tokens, 92.2 tok/s, 30 s
[strata] thinking: 918 of max 32768 tokens, 93.5 tok/s, 31 s
[strata] thinking: 1031 of max 32768 tokens, 95.2 tok/s, 32 s
[strata] thinking: 1131 of max 32768 tokens, 95.5 tok/s, 33 s -
RTX 5070 Ti 16GB 上下文可以直接開到 256K, 應該是用到 RAM
不知道為何它decode是越來越快, 可能MTP的因素
[strata] reading the prompt: 9,876 tokens, 10 s so far
[strata] reading the prompt: 8,124 of 9,876 tokens, 15 s so far
[strata] reading the prompt: 9,871 of 9,876 tokens, 20 s so far
[strata] thinking: 48 of max 32768 tokens, 72.2 tok/s, 21 s
[strata] thinking: 119 of max 32768 tokens, 69.8 tok/s, 22 s
[strata] thinking: 203 of max 32768 tokens, 74.6 tok/s, 23 s
[strata] thinking: 296 of max 32768 tokens, 79.1 tok/s, 25 s
[strata] thinking: 404 of max 32768 tokens, 84.8 tok/s, 26 s
[strata] thinking: 505 of max 32768 tokens, 87.5 tok/s, 27 s
[strata] thinking: 612 of max 32768 tokens, 90.2 tok/s, 28 s
[strata] thinking: 719 of max 32768 tokens, 92.3 tok/s, 29 s
[strata] thinking: 811 of max 32768 tokens, 92.2 tok/s, 30 s
[strata] thinking: 918 of max 32768 tokens, 93.5 tok/s, 31 s
[strata] thinking: 1031 of max 32768 tokens, 95.2 tok/s, 32 s
[strata] thinking: 1131 of max 32768 tokens, 95.5 tok/s, 33 s -
-
@deadnessking 坐等你的4080s 结果， 是32g 魔改版吗？ 我也在考虑这张
