不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！
-
我也用上了，这是我除了第一次使用AGENT完成第一个任务之后最激动的一次了，我跑的是官方指定的最大的IQ3_S模型，特点是：
1、快，很快！单卡3080可以跑到70TS，峰值140TS，PR和很强，可以超过1200。
2、快，越来越快，越用越快。开始可能只有40，只要长输出，就会越来越快，PR也不会因为上下文长度而降速
3、只要内存够大，KV可以不做量化，我就是KV都用F16的，直接拉满256K上下文
4、能力很强，35B这些肯定就不用再看了，我是保留了一个27B作为灾难备份使用，现在已经有点嫌弃27B了
5、iq3确实有点不舒服，所以我用它来驱动HERMES将UD的IQ4X_IS模型做了适配，可以预计能力肯定进一步加强，可惜我内存不够，所以仅载成功载入，一推理就提示内存不够，直接退出。
6、还有个对于我来说很强的地方，整机功耗从600W降低到450W，显卡只需要150W左右，这个时候显卡风扇都懒得动。600W的话，显卡风扇是全力运转的，噪音起飞。又快又省，（好又多？？） -
哈哈 超爽, 昨天剛好在Reddit 遇到 Strata的作者 Niko1221 有跟他打了聲招呼,
按照目前技術發展的態勢, 說不定 2027年底 我們每個人的機器 都能跑接近前延模型的SOTA Local LLMs,
Strata, NInfer 真是讓人太爽了 ！
-
-
哈哈 超爽, 昨天剛好在Reddit 遇到 Strata的作者 Niko1221 有跟他打了聲招呼,
按照目前技術發展的態勢, 說不定 2027年底 我們每個人的機器 都能跑接近前延模型的SOTA Local LLMs,
Strata, NInfer 真是讓人太爽了 ！
帮我们感谢他，真的太棒了，让一众低价卡都找到了希望，让高能力高速度低预算不可能三角成为了可能
-
哈哈 超爽, 昨天剛好在Reddit 遇到 Strata的作者 Niko1221 有跟他打了聲招呼,
按照目前技術發展的態勢, 說不定 2027年底 我們每個人的機器 都能跑接近前延模型的SOTA Local LLMs,
Strata, NInfer 真是讓人太爽了 ！
帮我们感谢他，真的太棒了，让一众低价卡都找到了希望，让高能力高速度低预算不可能三角成为了可能
-
-
-
-
@kos-or 大佬，你测试r9700 能跑 Qwen3.8-Flash-Next 吗？ 就这个帖子的repo？
能不能给我们发一下测试数据？ 你是用双卡跑吗？ 我一直在纠结amd的卡有一些限制，比如没法微调模型，所以倾向Nvidia 的卡。
现在R9700也涨了不少 -
-
@kos-or 哎 对啊 光买显卡还不行，还有内存要考虑，可能没有个3-4万都不能配一台LLM了
-
不行了，我单卡3090 刚在隔壁HyperQwen 27b中 关闭思考，不限制功耗墙370w 每秒166token，限制到250w，是每秒133token，现在我要测试这个了，对了，楼主有试过开启功耗墙测试这个 Qwen3.8 Flash Next 的速度影响吗？
-
，系统 取消固定了此主题
-
-
-
@ben-lee 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！
从官方评测看，Qwen3.8-Flash-Next 相比 Qwen3.8-27B，整体是"明显更强，但不是全面碾压"。优势主要集中在 Agent、职业办公、长流程任务和部分代码场景；在普通推理和某些软件工程任务上，两者差距并不大。
以下数字均来自 Qwen 官方同一套评测，实际表现还会受到提示词、推理预算和工具环境影响。
评测项目 Flash-Next 27B 差距 DeepSWE 1.1 智能编程 58.7 42.2 +16.5 SWE-bench Pro 62.5 61.7 +0.8 多语言软件工程 81.0 73.8 +7.2 NL2Repo 代码生成 48.1 42.3 +5.8 CoWorkBench 长流程办公 73.9 70.7 +3.2 JobBench 职业任务 55.7 33.4 +22.3 Agents' Last Exam Pass@1 24.3 20.4 +3.9 Agents' Last Exam Score 51.2 42.9 +8.3 Toolathlon 工具使用 73.5 67.1 +6.4 @johnnybegood 肝了两天，在我的7900XTX上跑通了Strata，刚发了新帖子详细记录了 https://lcz.me/topic/2027
实际 Context Prefill Decode 1,557 526.4 t/s 57.8 t/s 6,076 1131.9 t/s 57.3 t/s 12,100 1109.3 t/s 58.3 t/s 24,153 1270.7 t/s 51.7 t/s 48,254 1211.5 t/s 58.3 t/s 96,456 1164.2 t/s 59.2 t/s 190,516 1112.8 t/s 54.6 t/s 222,312 880.5 t/s 50.9 t/s 254,105 841.5 t/s 52.1 t/s -
@johnnybegood 肝了两天，在我的7900XTX上跑通了Strata，刚发了新帖子详细记录了 https://lcz.me/topic/2027
实际 Context Prefill Decode 1,557 526.4 t/s 57.8 t/s 6,076 1131.9 t/s 57.3 t/s 12,100 1109.3 t/s 58.3 t/s 24,153 1270.7 t/s 51.7 t/s 48,254 1211.5 t/s 58.3 t/s 96,456 1164.2 t/s 59.2 t/s 190,516 1112.8 t/s 54.6 t/s 222,312 880.5 t/s 50.9 t/s 254,105 841.5 t/s 52.1 t/s -
-
@johnnybegood 你有用两块gpu 试试？
我的内存才有64 不够用
@applejuice 是的， 我之前是 3090x2 , 结果一块啸叫坏了，去修了， 现在是 3090+3080， 目前strata就是把44G显存都用上了， 所以平时干活基本在 90tok/s 左右晃悠， 用的挺舒爽的， 256K 上下文。
-
-
不行了，我单卡3090 刚在隔壁HyperQwen 27b中 关闭思考，不限制功耗墙370w 每秒166token，限制到250w，是每秒133token，现在我要测试这个了，对了，楼主有试过开启功耗墙测试这个 Qwen3.8 Flash Next 的速度影响吗？
版主审定：本帖设为精华，作者 +5 积分奖励，希望再接再厉！