不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！

[vosrock]

@kos-or 说:

@johnnybegood

哈哈 超爽, 昨天剛好在Reddit 遇到 Strata的作者 Niko1221 有跟他打了聲招呼,

按照目前技術發展的態勢, 說不定 2027年底 我們每個人的機器 都能跑接近前延模型的SOTA Local LLMs,

Strata, NInfer 真是讓人太爽了 ！

帮我们感谢他，真的太棒了，让一众低价卡都找到了希望，让高能力高速度低预算不可能三角成为了可能

[applejuice]

难道刚下手的r9700 可以用上了？

[kos or]

@vosrock said:

帮我们感谢他，真的太棒了，让一众低价卡都找到了希望，

有，有感謝他了，也跟他說 "我們正在用你的推理引擎做測試中"
看來有好的系統架構 RAM, CPU, PCIe + GPU支持，LLM是可以跑出很好的推理表現

单卡3080 是10G VRAM嗎？效果很強

[johnnybegood]

@vosrock 这个家伙真是太厉害了， 我发帖只是一天前， 今天他的github又更新了， 增加了很多功能， 速度也更快， 跑的也更稳了！ 我现在干活平均都在88-90tok/s， 我已经不用27B了！

[vosrock]

@kos-or 说:

@vosrock said:

帮我们感谢他，真的太棒了，让一众低价卡都找到了希望，

有，有感謝他了，也跟他說 "我們正在用你的推理引擎做測試中"
看來有好的系統架構 RAM, CPU, PCIe + GPU支持，LLM是可以跑出很好的推理表現

单卡3080 是10G VRAM嗎？效果很強

是20G，个人感觉这个卡要起飞

[Quanta Magic]

@kos-or 大佬，你测试r9700 能跑 Qwen3.8-Flash-Next 吗？ 就这个帖子的repo？
能不能给我们发一下测试数据？ 你是用双卡跑吗？ 我一直在纠结amd的卡有一些限制，比如没法微调模型，所以倾向Nvidia 的卡。
现在R9700也涨了不少

[Prio]

不行了，我单卡3090 刚在隔壁HyperQwen 27b中 关闭思考，不限制功耗墙370w 每秒166token，限制到250w，是每秒133token，现在我要测试这个了，对了，楼主有试过开启功耗墙测试这个 Qwen3.8 Flash Next 的速度影响吗？

[kos or]

@Quanta-Magic

可以等Strata 正式支援R9700 看看大家跑的效果如何？

微调模型主要需要哪種硬體呢？

R9700 到了年底 不知道會漲到多少？
3090 我看市場漲了不少 好像漲了一倍了
RX 7900 XTX 我看有人買新卡 買到RMB$9000了

DDR4 ECC記憶體 不知道漲完了沒, 前兩個月漲了30%

[Quanta Magic]

@kos-or 哎 对啊 光买显卡还不行，还有内存要考虑，可能没有个3-4万都不能配一台LLM了

[kos or]

@Quanta-Magic said:

光买显卡还不行，还有内存要考虑

漲最兇的就是記憶體,
基本上策略就是要先把記憶體和顯卡的價格鎖定,
其餘的上漲速度沒這麼快

我剛剛一看 過去兩個月 二手DDR4-2400 ECC記憶體價格大概上漲了70%

[johnnybegood]

@Prio 没试过， 我的散热环境比较好， 温度不高， 就没管功耗的事。 据说降个100W影响最多在 10%

[Xiaote]

版主审定：本帖设为精华，作者 +5 积分奖励，希望再接再厉！

奖励凭证：精华 +5 分 · 编号 f1988-363-1（系统自动发放，显示稍有延迟）

[kos or]

@vosrock said:

是20G，个人感觉这个卡要起飞

坐穩了，顯卡不要套利賣掉喔 賣飛了 可不好

[Ben Lee]

@johnnybegood 肝了两天，在我的7900XTX上跑通了Strata，刚发了新帖子详细记录了 https://lcz.me/topic/2027

实际 Context	Prefill	Decode
1,557	526.4 t/s	57.8 t/s
6,076	1131.9 t/s	57.3 t/s
12,100	1109.3 t/s	58.3 t/s
24,153	1270.7 t/s	51.7 t/s
48,254	1211.5 t/s	58.3 t/s
96,456	1164.2 t/s	59.2 t/s
190,516	1112.8 t/s	54.6 t/s
222,312	880.5 t/s	50.9 t/s
254,105	841.5 t/s	52.1 t/s

[johnnybegood]

@Ben-Lee 哈哈， 我给他做了一系列的模型测试， 跟在线的 minimax-M3 几乎一样甚至更好， 因为表现太好， 我已经让他代替27B开始本地干活了。

[applejuice]

@johnnybegood 你有用两块gpu 试试？

我的内存才有64 不够用

[johnnybegood]

@applejuice 是的， 我之前是 3090x2 , 结果一块啸叫坏了，去修了， 现在是 3090+3080， 目前strata就是把44G显存都用上了， 所以平时干活基本在 90tok/s 左右晃悠， 用的挺舒爽的， 256K 上下文。

[neo]

精度质量如何呀，有兄弟测试了吗

[Harvey King]

@Prio 請問， 您HyperQuen 如何做到166 token/sec ? 我也是3090單卡 HyperQwen， 我的速度在40Tok/sec 上下 164k 上下文 多謝

[Prio]

Harvey-King 说:

@Prio 請問， 您HyperQuen 如何做到166 token/sec ? 我也是3090單卡 HyperQwen， 我的速度在40Tok/sec 上下 164k 上下文 多謝

你可以设置 HyperQwen项目的long的启动模式，然后需要开启加速，然后关闭思考可以达到166token，开启思考有100token， 上下文150k。

我的启动命令如下：
ai-server:~$ cd ~/HyperQwen && grep -E '^(SPEC|CTX|PREFIX_CACHE|MODEL|MAX|GPU|PORT|TP|QUANT)' .env
SPEC=dflash2
CTX=long
PREFIX_CACHE=1
MODEL=/app/models/Qwen3.8-27B-Uncensored-W4A16-AutoRound

SPEC=dflash2 速度最快，

SPEC=mtp 速度慢