不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！
-
RTX 5070 Ti 16GB 上下文可以直接開到 256K, 應該是用到 RAM
不知道為何它decode是越來越快, 可能MTP的因素
[strata] reading the prompt: 9,876 tokens, 10 s so far
[strata] reading the prompt: 8,124 of 9,876 tokens, 15 s so far
[strata] reading the prompt: 9,871 of 9,876 tokens, 20 s so far
[strata] thinking: 48 of max 32768 tokens, 72.2 tok/s, 21 s
[strata] thinking: 119 of max 32768 tokens, 69.8 tok/s, 22 s
[strata] thinking: 203 of max 32768 tokens, 74.6 tok/s, 23 s
[strata] thinking: 296 of max 32768 tokens, 79.1 tok/s, 25 s
[strata] thinking: 404 of max 32768 tokens, 84.8 tok/s, 26 s
[strata] thinking: 505 of max 32768 tokens, 87.5 tok/s, 27 s
[strata] thinking: 612 of max 32768 tokens, 90.2 tok/s, 28 s
[strata] thinking: 719 of max 32768 tokens, 92.3 tok/s, 29 s
[strata] thinking: 811 of max 32768 tokens, 92.2 tok/s, 30 s
[strata] thinking: 918 of max 32768 tokens, 93.5 tok/s, 31 s
[strata] thinking: 1031 of max 32768 tokens, 95.2 tok/s, 32 s
[strata] thinking: 1131 of max 32768 tokens, 95.5 tok/s, 33 s -
RTX 5070 Ti 16GB 上下文可以直接開到 256K, 應該是用到 RAM
不知道為何它decode是越來越快, 可能MTP的因素
[strata] reading the prompt: 9,876 tokens, 10 s so far
[strata] reading the prompt: 8,124 of 9,876 tokens, 15 s so far
[strata] reading the prompt: 9,871 of 9,876 tokens, 20 s so far
[strata] thinking: 48 of max 32768 tokens, 72.2 tok/s, 21 s
[strata] thinking: 119 of max 32768 tokens, 69.8 tok/s, 22 s
[strata] thinking: 203 of max 32768 tokens, 74.6 tok/s, 23 s
[strata] thinking: 296 of max 32768 tokens, 79.1 tok/s, 25 s
[strata] thinking: 404 of max 32768 tokens, 84.8 tok/s, 26 s
[strata] thinking: 505 of max 32768 tokens, 87.5 tok/s, 27 s
[strata] thinking: 612 of max 32768 tokens, 90.2 tok/s, 28 s
[strata] thinking: 719 of max 32768 tokens, 92.3 tok/s, 29 s
[strata] thinking: 811 of max 32768 tokens, 92.2 tok/s, 30 s
[strata] thinking: 918 of max 32768 tokens, 93.5 tok/s, 31 s
[strata] thinking: 1031 of max 32768 tokens, 95.2 tok/s, 32 s
[strata] thinking: 1131 of max 32768 tokens, 95.5 tok/s, 33 s -
-
@deadnessking 坐等你的4080s 结果， 是32g 魔改版吗？ 我也在考虑这张
-
Strata 复现报告
目标：单卡 RTX 3090 + Xeon E5-2680 v4 + 128GB 4ch DDR4-2400 · Swift-1.5 Qwen3.8-Flash-Next IQ3_XXS (76GB) · 引擎 Strata 0.1.21 · 2026-09-29结论：复现成功。 Strata 跑出稳态 decode ~71 tok/s、prefill 618.5 tok/s， 相比同机 llama.cpp 的 11.18 tok/s，decode 提升 6.4×。官方对 RTX 3090 + IQ3_XXS 的短上下文估算约 103–106， 但那是基于 Ryzen 5 7600 + DDR5-5200 的外推（±20%）；本机 ~71 约低 30%，差距在主机侧（CPU/内存，见第 4 节）。
71.7
Strata decode（tok/s，稳态）
差分法，隔离 prefill/首 token
6.4×
vs llama.cpp decode
11.18 → 71.7 tok/s
618.5
Strata prefill（tok/s）
llama.cpp 481.4，1.29× -
-
-
@marsempire 你的是4080s 32g 魔改版吗？ 用了多久了？ 有出现过问题吗？ 我正考虑入手一张
-
@marsempire 你的是4080s 32g 魔改版吗？ 用了多久了？ 有出现过问题吗？ 我正考虑入手一张
@Quanta-Magic 是的，用了三个月吧，没啥问题。不过我没多少生产力需求，没长时间高负载过，就是玩票性质，偶尔玩玩。
-
不是错觉，27b跑的时候显卡经常将近70度，跑这个flash最多60几度，风扇真的少转很多
速度又快，又聪明，又省显卡，回不去27b了……
@marsempire 是因为这个模型运行的时候激活专家数量比27B少， 另外这个项目也是把很多工作挪到了CPU，确实给显卡减负了。 另一个角度也说明，还可以进一步优化，如果能干到gpu和cpu都满载，应该性能还能更好。
-
不是错觉，27b跑的时候显卡经常将近70度，跑这个flash最多60几度，风扇真的少转很多
速度又快，又聪明，又省显卡，回不去27b了……
-
-
我准备回国带张显卡来英国，大家给我推荐性价比，主要就是跑这个模型, V100 32g 行吗？
-
跑这个flash最多60几度，风扇真的少转很多
速度又快，又聪明，又省显卡，回不去27b了……
你在哪些方面觀察到比較聰明的呢？
27B 只在 VRAM上跑, Strata QFN 則有CPU 幫忙運算
基本上用 Strata QFN 是延長顯卡使用壽命的選擇
CPU不太容易壞 而且使用時附載也不高 -
-
你是要長期待在英國嗎？ 怎麼不在英國當地購買？
我的CPU就是從英國ebay買來的, 反而比較便宜 -
@kos-or 爽到家吧？这样下去这个模型真能成主力了。
-
@kos-or Fountain Canteen 非常不好吃...
-
Fountain Canteen 非常不好吃...
哈哈 你也唸同一所學校？很美的地方 我很喜歡
-
@kos-or 我就让豆包出了几道编程题，分别给几个大模型做，然后给豆包评分，这个flash豆包评分最高
我就让豆包出了几道编程题，分别给几个大模型做
我目前是讓 ChatGTP5.6-SOL high評分, 共11道題,
最後面三道題目是GPT6.0-Astra high 出的, 難度特高Extreme Extreme Exam, 大概要花2~3個小時才能解出目前參賽者有7個 都是 27B, Qwen Flash的模型
目前 NInfer-Qwen3.8-27B-NVFP4 暫列第一, QFN排名第二, QFN還在做題測試中
但就藝術上的美感而言, 例如網頁創作, QFN目前第一, 27B的作品還是有AI的味道
