不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！

[David Chen]

8G????!!!!!!!!!!看來我的3060 12G不只能做動畫了，晚點驗證看看

[marsempire]

啥，那qwen3.8-27b就这样被淘汰了？

[johnnybegood]

@marsempire 那倒不是， 这个很难说， 还是给大家多一个选择， 至于适不适合自己， 还是得自己去试，每个人工作环境和需求都不一样。 之前老特也做过相关的测试， 他就还是觉得27B好用的。

[stxpnet]

突破是正常的,有AI加持 + 社区 共享精神,只会越来越快,越来越准.

[鍾子揚]

r9700還在癡癡的等~QQ

[kos or]

@鍾子揚

7900 XTX 也在苦等中 ～～～

[kos or]

@stxpnet said:

突破是正常的,有AI加持 + 社区 共享精神

最近出現很多 神人級進化, 看來很多資深工程師有了一個AI團隊後 能做出大事

[Ben Lee]

@johnnybegood 大侠你有没有不同上下文的prefill和decode数字？

[johnnybegood]

@Ben-Lee 测的比较乱，没整理，我一直是128k上下文没变，记得prefill最高1100多，最低时候三四百。我休假出来了玩了，估计没空测别的啦。

[kos or]

@marsempire said:

啥，那qwen3.8-27b就这样被淘汰了？

還在測試中, 如果CPU夠強悍, 能同時支援兩張單卡同時跑兩個Qwen3.8-Flash-NEXT
不排除是高於Qwen3.8-27B 更佳的選擇

[stxpnet]

128K其实也够用了，不过我觉得二者的用途是不同的。 3.8 FLASH似乎适合规划，27B DENSE似乎适合于专门编程，最好就是各配两张显卡。

[marsempire]

刚装好玩了一下，感觉可以啊，4080S 32g加64g内存，能70-90tok/s，有时跑到100多。

关键似乎稍长的任务，显卡温度没那么高了，风扇不像跑27b那样频繁呼呼响了，不知道是不是错觉……

[kos or]

RTX 5070 Ti 16GB 上下文可以直接開到 256K, 應該是用到 RAM

不知道為何它decode是越來越快, 可能MTP的因素

[strata] reading the prompt: 9,876 tokens, 10 s so far
[strata] reading the prompt: 8,124 of 9,876 tokens, 15 s so far
[strata] reading the prompt: 9,871 of 9,876 tokens, 20 s so far
[strata] thinking: 48 of max 32768 tokens, 72.2 tok/s, 21 s
[strata] thinking: 119 of max 32768 tokens, 69.8 tok/s, 22 s
[strata] thinking: 203 of max 32768 tokens, 74.6 tok/s, 23 s
[strata] thinking: 296 of max 32768 tokens, 79.1 tok/s, 25 s
[strata] thinking: 404 of max 32768 tokens, 84.8 tok/s, 26 s
[strata] thinking: 505 of max 32768 tokens, 87.5 tok/s, 27 s
[strata] thinking: 612 of max 32768 tokens, 90.2 tok/s, 28 s
[strata] thinking: 719 of max 32768 tokens, 92.3 tok/s, 29 s
[strata] thinking: 811 of max 32768 tokens, 92.2 tok/s, 30 s
[strata] thinking: 918 of max 32768 tokens, 93.5 tok/s, 31 s
[strata] thinking: 1031 of max 32768 tokens, 95.2 tok/s, 32 s
[strata] thinking: 1131 of max 32768 tokens, 95.5 tok/s, 33 s

[huaye XU]

此主題已被删除！

[huaye XU]

哦买噶，我的5090 laptop笔记本跑这个居然可以跑满256K上下文，40-50 tok/s，前两天我还在为128k，40toks以上，可劲折腾27b。

[marsempire]

分别用这个和27b做了几道题，这个占据明显智商优势，好，以后做大项目决定用这个了……

只有一个问题，求无审查版本

[huaye XU]

@marsempire 有无审查版的，兄弟。我就试了画鹈鹕，鹈鹕有点智障。https://huggingface.co/orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF

[marsempire]

@huaye-XU 这个普通的无swift的会不会速度变慢，再等等好了，等待更好的……
每试一个模型都要下几十g，这种更是近乎上百G……我怕我的ssd太短命……

[deadnessking]

牛啊，我用4080s+内存试试看

[huaye XU]

@marsempire swift确实更快一点，快10token/s