不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！
-
刚装好玩了一下，感觉可以啊，4080S 32g加64g内存，能70-90tok/s，有时跑到100多。
关键似乎稍长的任务，显卡温度没那么高了，风扇不像跑27b那样频繁呼呼响了，不知道是不是错觉……
-
RTX 5070 Ti 16GB 上下文可以直接開到 256K, 應該是用到 RAM
不知道為何它decode是越來越快, 可能MTP的因素
[strata] reading the prompt: 9,876 tokens, 10 s so far
[strata] reading the prompt: 8,124 of 9,876 tokens, 15 s so far
[strata] reading the prompt: 9,871 of 9,876 tokens, 20 s so far
[strata] thinking: 48 of max 32768 tokens, 72.2 tok/s, 21 s
[strata] thinking: 119 of max 32768 tokens, 69.8 tok/s, 22 s
[strata] thinking: 203 of max 32768 tokens, 74.6 tok/s, 23 s
[strata] thinking: 296 of max 32768 tokens, 79.1 tok/s, 25 s
[strata] thinking: 404 of max 32768 tokens, 84.8 tok/s, 26 s
[strata] thinking: 505 of max 32768 tokens, 87.5 tok/s, 27 s
[strata] thinking: 612 of max 32768 tokens, 90.2 tok/s, 28 s
[strata] thinking: 719 of max 32768 tokens, 92.3 tok/s, 29 s
[strata] thinking: 811 of max 32768 tokens, 92.2 tok/s, 30 s
[strata] thinking: 918 of max 32768 tokens, 93.5 tok/s, 31 s
[strata] thinking: 1031 of max 32768 tokens, 95.2 tok/s, 32 s
[strata] thinking: 1131 of max 32768 tokens, 95.5 tok/s, 33 s -
-
-
-
分别用这个和27b做了几道题，这个占据明显智商优势，好，以后做大项目决定用这个了……
只有一个问题，求无审查版本
@marsempire 有无审查版的，兄弟。我就试了画鹈鹕，鹈鹕有点智障。https://huggingface.co/orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF
-
@marsempire 有无审查版的，兄弟。我就试了画鹈鹕，鹈鹕有点智障。https://huggingface.co/orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF
-
牛啊，我用4080s+内存试试看
-
@huaye-XU 这个普通的无swift的会不会速度变慢，再等等好了，等待更好的……
每试一个模型都要下几十g，这种更是近乎上百G……我怕我的ssd太短命……@marsempire swift确实更快一点，快10token/s
-
RTX 5070 Ti 16GB 上下文可以直接開到 256K, 應該是用到 RAM
不知道為何它decode是越來越快, 可能MTP的因素
[strata] reading the prompt: 9,876 tokens, 10 s so far
[strata] reading the prompt: 8,124 of 9,876 tokens, 15 s so far
[strata] reading the prompt: 9,871 of 9,876 tokens, 20 s so far
[strata] thinking: 48 of max 32768 tokens, 72.2 tok/s, 21 s
[strata] thinking: 119 of max 32768 tokens, 69.8 tok/s, 22 s
[strata] thinking: 203 of max 32768 tokens, 74.6 tok/s, 23 s
[strata] thinking: 296 of max 32768 tokens, 79.1 tok/s, 25 s
[strata] thinking: 404 of max 32768 tokens, 84.8 tok/s, 26 s
[strata] thinking: 505 of max 32768 tokens, 87.5 tok/s, 27 s
[strata] thinking: 612 of max 32768 tokens, 90.2 tok/s, 28 s
[strata] thinking: 719 of max 32768 tokens, 92.3 tok/s, 29 s
[strata] thinking: 811 of max 32768 tokens, 92.2 tok/s, 30 s
[strata] thinking: 918 of max 32768 tokens, 93.5 tok/s, 31 s
[strata] thinking: 1031 of max 32768 tokens, 95.2 tok/s, 32 s
[strata] thinking: 1131 of max 32768 tokens, 95.5 tok/s, 33 s -
RTX 5070 Ti 16GB 上下文可以直接開到 256K, 應該是用到 RAM
不知道為何它decode是越來越快, 可能MTP的因素
[strata] reading the prompt: 9,876 tokens, 10 s so far
[strata] reading the prompt: 8,124 of 9,876 tokens, 15 s so far
[strata] reading the prompt: 9,871 of 9,876 tokens, 20 s so far
[strata] thinking: 48 of max 32768 tokens, 72.2 tok/s, 21 s
[strata] thinking: 119 of max 32768 tokens, 69.8 tok/s, 22 s
[strata] thinking: 203 of max 32768 tokens, 74.6 tok/s, 23 s
[strata] thinking: 296 of max 32768 tokens, 79.1 tok/s, 25 s
[strata] thinking: 404 of max 32768 tokens, 84.8 tok/s, 26 s
[strata] thinking: 505 of max 32768 tokens, 87.5 tok/s, 27 s
[strata] thinking: 612 of max 32768 tokens, 90.2 tok/s, 28 s
[strata] thinking: 719 of max 32768 tokens, 92.3 tok/s, 29 s
[strata] thinking: 811 of max 32768 tokens, 92.2 tok/s, 30 s
[strata] thinking: 918 of max 32768 tokens, 93.5 tok/s, 31 s
[strata] thinking: 1031 of max 32768 tokens, 95.2 tok/s, 32 s
[strata] thinking: 1131 of max 32768 tokens, 95.5 tok/s, 33 s -
-
@deadnessking 坐等你的4080s 结果， 是32g 魔改版吗？ 我也在考虑这张
-
Strata 复现报告
目标：单卡 RTX 3090 + Xeon E5-2680 v4 + 128GB 4ch DDR4-2400 · Swift-1.5 Qwen3.8-Flash-Next IQ3_XXS (76GB) · 引擎 Strata 0.1.21 · 2026-09-29结论：复现成功。 Strata 跑出稳态 decode ~71 tok/s、prefill 618.5 tok/s， 相比同机 llama.cpp 的 11.18 tok/s，decode 提升 6.4×。官方对 RTX 3090 + IQ3_XXS 的短上下文估算约 103–106， 但那是基于 Ryzen 5 7600 + DDR5-5200 的外推（±20%）；本机 ~71 约低 30%，差距在主机侧（CPU/内存，见第 4 节）。
71.7
Strata decode（tok/s，稳态）
差分法，隔离 prefill/首 token
6.4×
vs llama.cpp decode
11.18 → 71.7 tok/s
618.5
Strata prefill（tok/s）
llama.cpp 481.4，1.29× -
-
-
@marsempire 你的是4080s 32g 魔改版吗？ 用了多久了？ 有出现过问题吗？ 我正考虑入手一张
-
@marsempire 你的是4080s 32g 魔改版吗？ 用了多久了？ 有出现过问题吗？ 我正考虑入手一张
@Quanta-Magic 是的，用了三个月吧，没啥问题。不过我没多少生产力需求，没长时间高负载过，就是玩票性质，偶尔玩玩。
-
不是错觉，27b跑的时候显卡经常将近70度，跑这个flash最多60几度，风扇真的少转很多
速度又快，又聪明，又省显卡，回不去27b了……
@marsempire 是因为这个模型运行的时候激活专家数量比27B少， 另外这个项目也是把很多工作挪到了CPU，确实给显卡减负了。 另一个角度也说明，还可以进一步优化，如果能干到gpu和cpu都满载，应该性能还能更好。
-
不是错觉，27b跑的时候显卡经常将近70度，跑这个flash最多60几度，风扇真的少转很多
速度又快，又聪明，又省显卡，回不去27b了……
