不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！

[kos or]

@stxpnet said:

突破是正常的,有AI加持 + 社区 共享精神

最近出現很多 神人級進化, 看來很多資深工程師有了一個AI團隊後 能做出大事

[Ben Lee]

@johnnybegood 大侠你有没有不同上下文的prefill和decode数字？

[johnnybegood]

@Ben-Lee 测的比较乱，没整理，我一直是128k上下文没变，记得prefill最高1100多，最低时候三四百。我休假出来了玩了，估计没空测别的啦。

[kos or]

@marsempire said:

啥，那qwen3.8-27b就这样被淘汰了？

還在測試中, 如果CPU夠強悍, 能同時支援兩張單卡同時跑兩個Qwen3.8-Flash-NEXT
不排除是高於Qwen3.8-27B 更佳的選擇

[stxpnet]

128K其实也够用了，不过我觉得二者的用途是不同的。 3.8 FLASH似乎适合规划，27B DENSE似乎适合于专门编程，最好就是各配两张显卡。

[marsempire]

刚装好玩了一下，感觉可以啊，4080S 32g加64g内存，能70-90tok/s，有时跑到100多。

关键似乎稍长的任务，显卡温度没那么高了，风扇不像跑27b那样频繁呼呼响了，不知道是不是错觉……

[kos or]

RTX 5070 Ti 16GB 上下文可以直接開到 256K, 應該是用到 RAM

不知道為何它decode是越來越快, 可能MTP的因素

[strata] reading the prompt: 9,876 tokens, 10 s so far
[strata] reading the prompt: 8,124 of 9,876 tokens, 15 s so far
[strata] reading the prompt: 9,871 of 9,876 tokens, 20 s so far
[strata] thinking: 48 of max 32768 tokens, 72.2 tok/s, 21 s
[strata] thinking: 119 of max 32768 tokens, 69.8 tok/s, 22 s
[strata] thinking: 203 of max 32768 tokens, 74.6 tok/s, 23 s
[strata] thinking: 296 of max 32768 tokens, 79.1 tok/s, 25 s
[strata] thinking: 404 of max 32768 tokens, 84.8 tok/s, 26 s
[strata] thinking: 505 of max 32768 tokens, 87.5 tok/s, 27 s
[strata] thinking: 612 of max 32768 tokens, 90.2 tok/s, 28 s
[strata] thinking: 719 of max 32768 tokens, 92.3 tok/s, 29 s
[strata] thinking: 811 of max 32768 tokens, 92.2 tok/s, 30 s
[strata] thinking: 918 of max 32768 tokens, 93.5 tok/s, 31 s
[strata] thinking: 1031 of max 32768 tokens, 95.2 tok/s, 32 s
[strata] thinking: 1131 of max 32768 tokens, 95.5 tok/s, 33 s

[huaye XU]

此主題已被删除！

[huaye XU]

哦买噶，我的5090 laptop笔记本跑这个居然可以跑满256K上下文，40-50 tok/s，前两天我还在为128k，40toks以上，可劲折腾27b。

[marsempire]

分别用这个和27b做了几道题，这个占据明显智商优势，好，以后做大项目决定用这个了……

只有一个问题，求无审查版本

[huaye XU]

@marsempire 有无审查版的，兄弟。我就试了画鹈鹕，鹈鹕有点智障。https://huggingface.co/orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF

[marsempire]

@huaye-XU 这个普通的无swift的会不会速度变慢，再等等好了，等待更好的……
每试一个模型都要下几十g，这种更是近乎上百G……我怕我的ssd太短命……

[deadnessking]

牛啊，我用4080s+内存试试看

[huaye XU]

@marsempire swift确实更快一点，快10token/s

[[[global:former-user]]]

@kos-or
我也是5070ti，正好参考

[johnnybegood]

@kos-or 爽到家吧？这样下去这个模型真能成主力了。

[Quanta Magic]

我准备回国带张显卡来英国，大家给我推荐性价比，主要就是跑这个模型, V100 32g 行吗？

[Quanta Magic]

@deadnessking 坐等你的4080s 结果， 是32g 魔改版吗？ 我也在考虑这张

[abenzhu]

Strata 复现报告
目标：单卡 RTX 3090 + Xeon E5-2680 v4 + 128GB 4ch DDR4-2400 · Swift-1.5 Qwen3.8-Flash-Next IQ3_XXS (76GB) · 引擎 Strata 0.1.21 · 2026-09-29

结论：复现成功。 Strata 跑出稳态 decode ~71 tok/s、prefill 618.5 tok/s， 相比同机 llama.cpp 的 11.18 tok/s，decode 提升 6.4×。官方对 RTX 3090 + IQ3_XXS 的短上下文估算约 103–106， 但那是基于 Ryzen 5 7600 + DDR5-5200 的外推（±20%）；本机 ~71 约低 30%，差距在主机侧（CPU/内存，见第 4 节）。
71.7
Strata decode（tok/s，稳态）
差分法，隔离 prefill/首 token
6.4×
vs llama.cpp decode
11.18 → 71.7 tok/s
618.5
Strata prefill（tok/s）
llama.cpp 481.4，1.29×

[Quanta Magic]

有办法测试质量吗？ 到底能不能正在的使用？ 感觉量化的很大啊