不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！

[terry]

@kos-or 想多了.....

[kos or]

@terry said:

想多了.....

雖然不現實，我其實希望今天的AI技術能停止發展3~5年，讓社會環境能有時間逐步地緩慢融合這技術

[张光璞]

现在新技术日新月异，层出不穷。刚折腾好的服务又出新框架，能提速能优化
天天净折腾这些了。 就像玩3D打印的玩3D打印机的关系 。

[Quanta Magic]

@kos-or 对啊 我是长期在英国，目前在伦敦，我有想过在ebay买，但是感觉坑很多，而且不知道是不是矿卡，这边也很多人挖矿的。
国内买的话，我可以先测试好，有问题可以退货， 大佬你推荐我买哪张性价比的？

[kos or]

@Quanta-Magic said:

目前在伦敦，我有想过在ebay买，但是感觉坑很多

買全新的R9700 32G, 選擇散熱好 風扇噪音小的品牌, 你看網路上有沒有推薦的型號 model
一張就夠了, 想要更快 才買兩張, 體積小 一台電腦裝得下

[vosrock]

我也用上了，这是我除了第一次使用AGENT完成第一个任务之后最激动的一次了，我跑的是官方指定的最大的IQ3_S模型，特点是：
1、快，很快！单卡3080可以跑到70TS，峰值140TS，PR和很强，可以超过1200。
2、快，越来越快，越用越快。开始可能只有40，只要长输出，就会越来越快，PR也不会因为上下文长度而降速
3、只要内存够大，KV可以不做量化，我就是KV都用F16的，直接拉满256K上下文
4、能力很强，35B这些肯定就不用再看了，我是保留了一个27B作为灾难备份使用，现在已经有点嫌弃27B了
5、iq3确实有点不舒服，所以我用它来驱动HERMES将UD的IQ4X_IS模型做了适配，可以预计能力肯定进一步加强，可惜我内存不够，所以仅载成功载入，一推理就提示内存不够，直接退出。
6、还有个对于我来说很强的地方，整机功耗从600W降低到450W，显卡只需要150W左右，这个时候显卡风扇都懒得动。600W的话，显卡风扇是全力运转的，噪音起飞。又快又省，（好又多？？）

[vosrock]

@kos-or 说:

@johnnybegood

哈哈 超爽, 昨天剛好在Reddit 遇到 Strata的作者 Niko1221 有跟他打了聲招呼,

按照目前技術發展的態勢, 說不定 2027年底 我們每個人的機器 都能跑接近前延模型的SOTA Local LLMs,

Strata, NInfer 真是讓人太爽了 ！

帮我们感谢他，真的太棒了，让一众低价卡都找到了希望，让高能力高速度低预算不可能三角成为了可能

[applejuice]

难道刚下手的r9700 可以用上了？

[kos or]

@vosrock said:

帮我们感谢他，真的太棒了，让一众低价卡都找到了希望，

有，有感謝他了，也跟他說 "我們正在用你的推理引擎做測試中"
看來有好的系統架構 RAM, CPU, PCIe + GPU支持，LLM是可以跑出很好的推理表現

单卡3080 是10G VRAM嗎？效果很強

[johnnybegood]

@vosrock 这个家伙真是太厉害了， 我发帖只是一天前， 今天他的github又更新了， 增加了很多功能， 速度也更快， 跑的也更稳了！ 我现在干活平均都在88-90tok/s， 我已经不用27B了！

[vosrock]

@kos-or 说:

@vosrock said:

帮我们感谢他，真的太棒了，让一众低价卡都找到了希望，

有，有感謝他了，也跟他說 "我們正在用你的推理引擎做測試中"
看來有好的系統架構 RAM, CPU, PCIe + GPU支持，LLM是可以跑出很好的推理表現

单卡3080 是10G VRAM嗎？效果很強

是20G，个人感觉这个卡要起飞

[Quanta Magic]

@kos-or 大佬，你测试r9700 能跑 Qwen3.8-Flash-Next 吗？ 就这个帖子的repo？
能不能给我们发一下测试数据？ 你是用双卡跑吗？ 我一直在纠结amd的卡有一些限制，比如没法微调模型，所以倾向Nvidia 的卡。
现在R9700也涨了不少

[Prio]

不行了，我单卡3090 刚在隔壁HyperQwen 27b中 关闭思考，不限制功耗墙370w 每秒166token，限制到250w，是每秒133token，现在我要测试这个了，对了，楼主有试过开启功耗墙测试这个 Qwen3.8 Flash Next 的速度影响吗？

[kos or]

@Quanta-Magic

可以等Strata 正式支援R9700 看看大家跑的效果如何？

微调模型主要需要哪種硬體呢？

R9700 到了年底 不知道會漲到多少？
3090 我看市場漲了不少 好像漲了一倍了
RX 7900 XTX 我看有人買新卡 買到RMB$9000了

DDR4 ECC記憶體 不知道漲完了沒, 前兩個月漲了30%

[Quanta Magic]

@kos-or 哎 对啊 光买显卡还不行，还有内存要考虑，可能没有个3-4万都不能配一台LLM了

[kos or]

@Quanta-Magic said:

光买显卡还不行，还有内存要考虑

漲最兇的就是記憶體,
基本上策略就是要先把記憶體和顯卡的價格鎖定,
其餘的上漲速度沒這麼快

我剛剛一看 過去兩個月 二手DDR4-2400 ECC記憶體價格大概上漲了70%

[johnnybegood]

@Prio 没试过， 我的散热环境比较好， 温度不高， 就没管功耗的事。 据说降个100W影响最多在 10%

[Xiaote]

版主审定：本帖设为精华，作者 +5 积分奖励，希望再接再厉！

奖励凭证：精华 +5 分 · 编号 f1988-363-1（系统自动发放，显示稍有延迟）

[kos or]

@vosrock said:

是20G，个人感觉这个卡要起飞

坐穩了，顯卡不要套利賣掉喔 賣飛了 可不好

[Ben Lee]

@johnnybegood 肝了两天，在我的7900XTX上跑通了Strata，刚发了新帖子详细记录了 https://lcz.me/topic/2027

实际 Context	Prefill	Decode
1,557	526.4 t/s	57.8 t/s
6,076	1131.9 t/s	57.3 t/s
12,100	1109.3 t/s	58.3 t/s
24,153	1270.7 t/s	51.7 t/s
48,254	1211.5 t/s	58.3 t/s
96,456	1164.2 t/s	59.2 t/s
190,516	1112.8 t/s	54.6 t/s
222,312	880.5 t/s	50.9 t/s
254,105	841.5 t/s	52.1 t/s