不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！

[marsempire]

@kos-or 我就让豆包出了几道编程题，分别给几个大模型做，然后给豆包评分，这个flash豆包评分最高

[huaye XU]

大佬们，这个项目prefill是不是很慢啊？我跑了一夜后，感觉prefill有点慢。是我自己的原因吗？

[johnnybegood]

@kos-or Fountain Canteen 非常不好吃...

[kos or]

@johnnybegood

哈哈 超爽, 昨天剛好在Reddit 遇到 Strata的作者 Niko1221 有跟他打了聲招呼,

按照目前技術發展的態勢, 說不定 2027年底 我們每個人的機器 都能跑接近前延模型的SOTA Local LLMs,

Strata, NInfer 真是讓人太爽了 ！

[kos or]

@johnnybegood said:

Fountain Canteen 非常不好吃...

哈哈 你也唸同一所學校？很美的地方 我很喜歡

[johnnybegood]

@kos-or 确实很美！我喜欢新月楼那边。我只是短期在那边交流过一段时间，除了吃的不太适应，其他都很棒。

[kos or]

@marsempire said:

我就让豆包出了几道编程题，分别给几个大模型做

我目前是讓 ChatGTP5.6-SOL high評分, 共11道題,
最後面三道題目是GPT6.0-Astra high 出的, 難度特高Extreme Extreme Exam, 大概要花2~3個小時才能解出

目前參賽者有7個 都是 27B, Qwen Flash的模型

目前 NInfer-Qwen3.8-27B-NVFP4 暫列第一, QFN排名第二, QFN還在做題測試中

但就藝術上的美感而言, 例如網頁創作, QFN目前第一, 27B的作品還是有AI的味道

[benson Playben]

@David-Chen 说:

8G????!!!!!!!!!!看來我的3060 12G不只能做動畫了，晚點驗證看看

我的3060 12g 已经跑起来了。我靠，用swift1.5 128k 上下文竟然可以32 tok/s。

[jatwu]

@鍾子揚 我已经做了移植，还没做优化单卡

[Xiaote]

本帖参与讨论人数已达 15+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h1988-363-1（系统自动发放，显示稍有延迟）

[terry]

@kos-or 想多了.....

[kos or]

@terry said:

想多了.....

雖然不現實，我其實希望今天的AI技術能停止發展3~5年，讓社會環境能有時間逐步地緩慢融合這技術

[张光璞]

现在新技术日新月异，层出不穷。刚折腾好的服务又出新框架，能提速能优化
天天净折腾这些了。 就像玩3D打印的玩3D打印机的关系 。

[Quanta Magic]

@kos-or 对啊 我是长期在英国，目前在伦敦，我有想过在ebay买，但是感觉坑很多，而且不知道是不是矿卡，这边也很多人挖矿的。
国内买的话，我可以先测试好，有问题可以退货， 大佬你推荐我买哪张性价比的？

[kos or]

@Quanta-Magic said:

目前在伦敦，我有想过在ebay买，但是感觉坑很多

買全新的R9700 32G, 選擇散熱好 風扇噪音小的品牌, 你看網路上有沒有推薦的型號 model
一張就夠了, 想要更快 才買兩張, 體積小 一台電腦裝得下

[vosrock]

我也用上了，这是我除了第一次使用AGENT完成第一个任务之后最激动的一次了，我跑的是官方指定的最大的IQ3_S模型，特点是：
1、快，很快！单卡3080可以跑到70TS，峰值140TS，PR和很强，可以超过1200。
2、快，越来越快，越用越快。开始可能只有40，只要长输出，就会越来越快，PR也不会因为上下文长度而降速
3、只要内存够大，KV可以不做量化，我就是KV都用F16的，直接拉满256K上下文
4、能力很强，35B这些肯定就不用再看了，我是保留了一个27B作为灾难备份使用，现在已经有点嫌弃27B了
5、iq3确实有点不舒服，所以我用它来驱动HERMES将UD的IQ4X_IS模型做了适配，可以预计能力肯定进一步加强，可惜我内存不够，所以仅载成功载入，一推理就提示内存不够，直接退出。
6、还有个对于我来说很强的地方，整机功耗从600W降低到450W，显卡只需要150W左右，这个时候显卡风扇都懒得动。600W的话，显卡风扇是全力运转的，噪音起飞。又快又省，（好又多？？）

[vosrock]

@kos-or 说:

@johnnybegood

哈哈 超爽, 昨天剛好在Reddit 遇到 Strata的作者 Niko1221 有跟他打了聲招呼,

按照目前技術發展的態勢, 說不定 2027年底 我們每個人的機器 都能跑接近前延模型的SOTA Local LLMs,

Strata, NInfer 真是讓人太爽了 ！

帮我们感谢他，真的太棒了，让一众低价卡都找到了希望，让高能力高速度低预算不可能三角成为了可能

[applejuice]

难道刚下手的r9700 可以用上了？

[kos or]

@vosrock said:

帮我们感谢他，真的太棒了，让一众低价卡都找到了希望，

有，有感謝他了，也跟他說 "我們正在用你的推理引擎做測試中"
看來有好的系統架構 RAM, CPU, PCIe + GPU支持，LLM是可以跑出很好的推理表現

单卡3080 是10G VRAM嗎？效果很強

[johnnybegood]

@vosrock 这个家伙真是太厉害了， 我发帖只是一天前， 今天他的github又更新了， 增加了很多功能， 速度也更快， 跑的也更稳了！ 我现在干活平均都在88-90tok/s， 我已经不用27B了！