不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！

[johnnybegood]

@kos-or 爽到家吧？这样下去这个模型真能成主力了。

[Quanta Magic]

我准备回国带张显卡来英国，大家给我推荐性价比，主要就是跑这个模型, V100 32g 行吗？

[Quanta Magic]

@deadnessking 坐等你的4080s 结果， 是32g 魔改版吗？ 我也在考虑这张

[abenzhu]

Strata 复现报告
目标：单卡 RTX 3090 + Xeon E5-2680 v4 + 128GB 4ch DDR4-2400 · Swift-1.5 Qwen3.8-Flash-Next IQ3_XXS (76GB) · 引擎 Strata 0.1.21 · 2026-09-29

结论：复现成功。 Strata 跑出稳态 decode ~71 tok/s、prefill 618.5 tok/s， 相比同机 llama.cpp 的 11.18 tok/s，decode 提升 6.4×。官方对 RTX 3090 + IQ3_XXS 的短上下文估算约 103–106， 但那是基于 Ryzen 5 7600 + DDR5-5200 的外推（±20%）；本机 ~71 约低 30%，差距在主机侧（CPU/内存，见第 4 节）。
71.7
Strata decode（tok/s，稳态）
差分法，隔离 prefill/首 token
6.4×
vs llama.cpp decode
11.18 → 71.7 tok/s
618.5
Strata prefill（tok/s）
llama.cpp 481.4，1.29×

[Quanta Magic]

有办法测试质量吗？ 到底能不能正在的使用？ 感觉量化的很大啊

[marsempire]

不是错觉，27b跑的时候显卡经常将近70度，跑这个flash最多60几度，风扇真的少转很多

速度又快，又聪明，又省显卡，回不去27b了……

[Quanta Magic]

@marsempire 你的是4080s 32g 魔改版吗？ 用了多久了？ 有出现过问题吗？ 我正考虑入手一张

[marsempire]

@Quanta-Magic 是的，用了三个月吧，没啥问题。不过我没多少生产力需求，没长时间高负载过，就是玩票性质，偶尔玩玩。

[johnnybegood]

@marsempire 是因为这个模型运行的时候激活专家数量比27B少， 另外这个项目也是把很多工作挪到了CPU，确实给显卡减负了。 另一个角度也说明，还可以进一步优化，如果能干到gpu和cpu都满载，应该性能还能更好。

[kos or]

@marsempire said:

跑这个flash最多60几度，风扇真的少转很多

速度又快，又聪明，又省显卡，回不去27b了……

你在哪些方面觀察到比較聰明的呢？

27B 只在 VRAM上跑, Strata QFN 則有CPU 幫忙運算
基本上用 Strata QFN 是延長顯卡使用壽命的選擇
CPU不太容易壞 而且使用時附載也不高

[kos or]

@he-luo said:

我也是5070ti，正好参考

你跑看看, 然後分享一下效果如何？ 我的機器 Decode 約 60~95 tok/s
基本上就是根據 5070Ti 效能 + PCIe 頻寬 + RAM 頻寬 + CPU 效能得到產出速度

[kos or]

@Quanta-Magic

你是要長期待在英國嗎？ 怎麼不在英國當地購買？
我的CPU就是從英國ebay買來的, 反而比較便宜

[marsempire]

@kos-or 我就让豆包出了几道编程题，分别给几个大模型做，然后给豆包评分，这个flash豆包评分最高

[huaye XU]

大佬们，这个项目prefill是不是很慢啊？我跑了一夜后，感觉prefill有点慢。是我自己的原因吗？

[johnnybegood]

@kos-or Fountain Canteen 非常不好吃...

[kos or]

@johnnybegood

哈哈 超爽, 昨天剛好在Reddit 遇到 Strata的作者 Niko1221 有跟他打了聲招呼,

按照目前技術發展的態勢, 說不定 2027年底 我們每個人的機器 都能跑接近前延模型的SOTA Local LLMs,

Strata, NInfer 真是讓人太爽了 ！

[kos or]

@johnnybegood said:

Fountain Canteen 非常不好吃...

哈哈 你也唸同一所學校？很美的地方 我很喜歡

[johnnybegood]

@kos-or 确实很美！我喜欢新月楼那边。我只是短期在那边交流过一段时间，除了吃的不太适应，其他都很棒。

[kos or]

@marsempire said:

我就让豆包出了几道编程题，分别给几个大模型做

我目前是讓 ChatGTP5.6-SOL high評分, 共11道題,
最後面三道題目是GPT6.0-Astra high 出的, 難度特高Extreme Extreme Exam, 大概要花2~3個小時才能解出

目前參賽者有7個 都是 27B, Qwen Flash的模型

目前 NInfer-Qwen3.8-27B-NVFP4 暫列第一, QFN排名第二, QFN還在做題測試中

但就藝術上的美感而言, 例如網頁創作, QFN目前第一, 27B的作品還是有AI的味道

[benson Playben]

@David-Chen 说:

8G????!!!!!!!!!!看來我的3060 12G不只能做動畫了，晚點驗證看看

我的3060 12g 已经跑起来了。我靠，用swift1.5 128k 上下文竟然可以32 tok/s。