不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！

[johnnybegood]

@ben-lee 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！

从官方评测看，Qwen3.8-Flash-Next 相比 Qwen3.8-27B，整体是"明显更强，但不是全面碾压"。优势主要集中在 Agent、职业办公、长流程任务和部分代码场景；在普通推理和某些软件工程任务上，两者差距并不大。

以下数字均来自 Qwen 官方同一套评测，实际表现还会受到提示词、推理预算和工具环境影响。

评测项目	Flash-Next	27B	差距
DeepSWE 1.1 智能编程	58.7	42.2	+16.5
SWE-bench Pro	62.5	61.7	+0.8
多语言软件工程	81.0	73.8	+7.2
NL2Repo 代码生成	48.1	42.3	+5.8
CoWorkBench 长流程办公	73.9	70.7	+3.2
JobBench 职业任务	55.7	33.4	+22.3
Agents' Last Exam Pass@1	24.3	20.4	+3.9
Agents' Last Exam Score	51.2	42.9	+8.3
Toolathlon 工具使用	73.5	67.1	+6.4

[Ben Lee]

@johnnybegood 我不听我不信 我这两天还在搞我的双卡7900XTX，大概是30~60呢，你怎么又突破了。

[kos or]

今晚有看到 "最低 8G 視訊記憶體！就能跑 Qwen3.8-Flash-Next 大模型！125B 塞進記憶體，支援N卡、A卡" 晚點試試,
Strata 怎麼有辦法跑這麼快？

RTX 5070 Ti 16GB 更新 第一批速度數字（初測）

• 66 prompt tokens → 200 輸出 tokens，3.28 s → 約 61 tok/s
• 與官方宣稱（RTX 5070 12GB 上 IQ3_XXS 短聊天 62 tok/s）幾乎一致 —— 用 16GB 卡 + MTP + vision，沒有因為容器化而掉速

目標LLM : Swift-Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS.gguf (76GB)
我選擇GSQ-RCO 是因為根據Qwen3.8-27B的使用經驗, ISTA-DasLab的在量化壓縮的效果表現非常傑出
https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-GGUF

[Tony Wang]

Qwen3.8-Flash-Next 激活参数只有6B, 激活参数加载后, decode 跑到 100 应该没什么问题.

但问题是加载和TTFT, 我想可能Coding 路由的专家层比较固定, 所以表现更好. 而聊天的路由经常变化, 需要加载时间更长. 总体表现就差一点儿.

@johnnybegood TTFT的速度怎么样, 感觉能干活吗?

[johnnybegood]

@Tony-Wang 没问题，速度很快。如果是多轮有缓存命中的话，非常快。

[johnnybegood]

@kos-or 他github上面有解释，优化了专家和内存的分配算法，附件是它具体的Paper。Strata-Paper.pdf

[David Chen]

8G????!!!!!!!!!!看來我的3060 12G不只能做動畫了，晚點驗證看看

[marsempire]

啥，那qwen3.8-27b就这样被淘汰了？

[johnnybegood]

@marsempire 那倒不是， 这个很难说， 还是给大家多一个选择， 至于适不适合自己， 还是得自己去试，每个人工作环境和需求都不一样。 之前老特也做过相关的测试， 他就还是觉得27B好用的。

[stxpnet]

突破是正常的,有AI加持 + 社区 共享精神,只会越来越快,越来越准.

[鍾子揚]

r9700還在癡癡的等~QQ

[kos or]

@鍾子揚

7900 XTX 也在苦等中 ～～～

[kos or]

@stxpnet said:

突破是正常的,有AI加持 + 社区 共享精神

最近出現很多 神人級進化, 看來很多資深工程師有了一個AI團隊後 能做出大事

[Ben Lee]

@johnnybegood 大侠你有没有不同上下文的prefill和decode数字？

[johnnybegood]

@Ben-Lee 测的比较乱，没整理，我一直是128k上下文没变，记得prefill最高1100多，最低时候三四百。我休假出来了玩了，估计没空测别的啦。

[kos or]

@marsempire said:

啥，那qwen3.8-27b就这样被淘汰了？

還在測試中, 如果CPU夠強悍, 能同時支援兩張單卡同時跑兩個Qwen3.8-Flash-NEXT
不排除是高於Qwen3.8-27B 更佳的選擇

[stxpnet]

128K其实也够用了，不过我觉得二者的用途是不同的。 3.8 FLASH似乎适合规划，27B DENSE似乎适合于专门编程，最好就是各配两张显卡。

[marsempire]

刚装好玩了一下，感觉可以啊，4080S 32g加64g内存，能70-90tok/s，有时跑到100多。

关键似乎稍长的任务，显卡温度没那么高了，风扇不像跑27b那样频繁呼呼响了，不知道是不是错觉……

[kos or]

RTX 5070 Ti 16GB 上下文可以直接開到 256K, 應該是用到 RAM

不知道為何它decode是越來越快, 可能MTP的因素

[strata] reading the prompt: 9,876 tokens, 10 s so far
[strata] reading the prompt: 8,124 of 9,876 tokens, 15 s so far
[strata] reading the prompt: 9,871 of 9,876 tokens, 20 s so far
[strata] thinking: 48 of max 32768 tokens, 72.2 tok/s, 21 s
[strata] thinking: 119 of max 32768 tokens, 69.8 tok/s, 22 s
[strata] thinking: 203 of max 32768 tokens, 74.6 tok/s, 23 s
[strata] thinking: 296 of max 32768 tokens, 79.1 tok/s, 25 s
[strata] thinking: 404 of max 32768 tokens, 84.8 tok/s, 26 s
[strata] thinking: 505 of max 32768 tokens, 87.5 tok/s, 27 s
[strata] thinking: 612 of max 32768 tokens, 90.2 tok/s, 28 s
[strata] thinking: 719 of max 32768 tokens, 92.3 tok/s, 29 s
[strata] thinking: 811 of max 32768 tokens, 92.2 tok/s, 30 s
[strata] thinking: 918 of max 32768 tokens, 93.5 tok/s, 31 s
[strata] thinking: 1031 of max 32768 tokens, 95.2 tok/s, 32 s
[strata] thinking: 1131 of max 32768 tokens, 95.5 tok/s, 33 s

[huaye XU]

此主題已被删除！