不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！
-
Strata 复现报告
目标：单卡 RTX 3090 + Xeon E5-2680 v4 + 128GB 4ch DDR4-2400 · Swift-1.5 Qwen3.8-Flash-Next IQ3_XXS (76GB) · 引擎 Strata 0.1.21 · 2026-09-29结论：复现成功。 Strata 跑出稳态 decode ~71 tok/s、prefill 618.5 tok/s， 相比同机 llama.cpp 的 11.18 tok/s，decode 提升 6.4×。官方对 RTX 3090 + IQ3_XXS 的短上下文估算约 103–106， 但那是基于 Ryzen 5 7600 + DDR5-5200 的外推（±20%）；本机 ~71 约低 30%，差距在主机侧（CPU/内存，见第 4 节）。
71.7
Strata decode（tok/s，稳态）
差分法，隔离 prefill/首 token
6.4×
vs llama.cpp decode
11.18 → 71.7 tok/s
618.5
Strata prefill（tok/s）
llama.cpp 481.4，1.29× -
-
-
@marsempire 你的是4080s 32g 魔改版吗？ 用了多久了？ 有出现过问题吗？ 我正考虑入手一张
-
@marsempire 你的是4080s 32g 魔改版吗？ 用了多久了？ 有出现过问题吗？ 我正考虑入手一张
@Quanta-Magic 是的，用了三个月吧，没啥问题。不过我没多少生产力需求，没长时间高负载过，就是玩票性质，偶尔玩玩。
-
不是错觉，27b跑的时候显卡经常将近70度，跑这个flash最多60几度，风扇真的少转很多
速度又快，又聪明，又省显卡，回不去27b了……
@marsempire 是因为这个模型运行的时候激活专家数量比27B少， 另外这个项目也是把很多工作挪到了CPU，确实给显卡减负了。 另一个角度也说明，还可以进一步优化，如果能干到gpu和cpu都满载，应该性能还能更好。
-
不是错觉，27b跑的时候显卡经常将近70度，跑这个flash最多60几度，风扇真的少转很多
速度又快，又聪明，又省显卡，回不去27b了……
-
-
我准备回国带张显卡来英国，大家给我推荐性价比，主要就是跑这个模型, V100 32g 行吗？
-
跑这个flash最多60几度，风扇真的少转很多
速度又快，又聪明，又省显卡，回不去27b了……
你在哪些方面觀察到比較聰明的呢？
27B 只在 VRAM上跑, Strata QFN 則有CPU 幫忙運算
基本上用 Strata QFN 是延長顯卡使用壽命的選擇
CPU不太容易壞 而且使用時附載也不高 -
-
你是要長期待在英國嗎？ 怎麼不在英國當地購買？
我的CPU就是從英國ebay買來的, 反而比較便宜 -
@kos-or 爽到家吧？这样下去这个模型真能成主力了。
-
@kos-or Fountain Canteen 非常不好吃...
-
Fountain Canteen 非常不好吃...
哈哈 你也唸同一所學校？很美的地方 我很喜歡
-
@kos-or 我就让豆包出了几道编程题，分别给几个大模型做，然后给豆包评分，这个flash豆包评分最高
我就让豆包出了几道编程题，分别给几个大模型做
我目前是讓 ChatGTP5.6-SOL high評分, 共11道題,
最後面三道題目是GPT6.0-Astra high 出的, 難度特高Extreme Extreme Exam, 大概要花2~3個小時才能解出目前參賽者有7個 都是 27B, Qwen Flash的模型
目前 NInfer-Qwen3.8-27B-NVFP4 暫列第一, QFN排名第二, QFN還在做題測試中
但就藝術上的美感而言, 例如網頁創作, QFN目前第一, 27B的作品還是有AI的味道
-
8G????!!!!!!!!!!看來我的3060 12G不只能做動畫了，晚點驗證看看
8G????!!!!!!!!!!看來我的3060 12G不只能做動畫了，晚點驗證看看
我的3060 12g 已经跑起来了。我靠，用swift1.5 128k 上下文竟然可以32 tok/s。
-
-
-
哈哈 超爽, 昨天剛好在Reddit 遇到 Strata的作者 Niko1221 有跟他打了聲招呼,
按照目前技術發展的態勢, 說不定 2027年底 我們每個人的機器 都能跑接近前延模型的SOTA Local LLMs,
Strata, NInfer 真是讓人太爽了 ！
本帖参与讨论人数已达 15+，入选热议，作者 +3 积分奖励，感谢分享！