不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！
-
-
我准备回国带张显卡来英国，大家给我推荐性价比，主要就是跑这个模型, V100 32g 行吗？
-
跑这个flash最多60几度，风扇真的少转很多
速度又快，又聪明，又省显卡，回不去27b了……
你在哪些方面觀察到比較聰明的呢？
27B 只在 VRAM上跑, Strata QFN 則有CPU 幫忙運算
基本上用 Strata QFN 是延長顯卡使用壽命的選擇
CPU不太容易壞 而且使用時附載也不高 -
-
你是要長期待在英國嗎？ 怎麼不在英國當地購買？
我的CPU就是從英國ebay買來的, 反而比較便宜 -
@kos-or 爽到家吧？这样下去这个模型真能成主力了。
-
@kos-or Fountain Canteen 非常不好吃...
-
Fountain Canteen 非常不好吃...
哈哈 你也唸同一所學校？很美的地方 我很喜歡
-
@kos-or 我就让豆包出了几道编程题，分别给几个大模型做，然后给豆包评分，这个flash豆包评分最高
我就让豆包出了几道编程题，分别给几个大模型做
我目前是讓 ChatGTP5.6-SOL high評分, 共11道題,
最後面三道題目是GPT6.0-Astra high 出的, 難度特高Extreme Extreme Exam, 大概要花2~3個小時才能解出目前參賽者有7個 都是 27B, Qwen Flash的模型
目前 NInfer-Qwen3.8-27B-NVFP4 暫列第一, QFN排名第二, QFN還在做題測試中
但就藝術上的美感而言, 例如網頁創作, QFN目前第一, 27B的作品還是有AI的味道
-
8G????!!!!!!!!!!看來我的3060 12G不只能做動畫了，晚點驗證看看
8G????!!!!!!!!!!看來我的3060 12G不只能做動畫了，晚點驗證看看
我的3060 12g 已经跑起来了。我靠，用swift1.5 128k 上下文竟然可以32 tok/s。
-
-
-
哈哈 超爽, 昨天剛好在Reddit 遇到 Strata的作者 Niko1221 有跟他打了聲招呼,
按照目前技術發展的態勢, 說不定 2027年底 我們每個人的機器 都能跑接近前延模型的SOTA Local LLMs,
Strata, NInfer 真是讓人太爽了 ！
-
-
-
-
@kos-or 对啊 我是长期在英国，目前在伦敦，我有想过在ebay买，但是感觉坑很多，而且不知道是不是矿卡，这边也很多人挖矿的。
国内买的话，我可以先测试好，有问题可以退货， 大佬你推荐我买哪张性价比的？ -
我也用上了，这是我除了第一次使用AGENT完成第一个任务之后最激动的一次了，我跑的是官方指定的最大的IQ3_S模型，特点是：
1、快，很快！单卡3080可以跑到70TS，峰值140TS，PR和很强，可以超过1200。
2、快，越来越快，越用越快。开始可能只有40，只要长输出，就会越来越快，PR也不会因为上下文长度而降速
3、只要内存够大，KV可以不做量化，我就是KV都用F16的，直接拉满256K上下文
4、能力很强，35B这些肯定就不用再看了，我是保留了一个27B作为灾难备份使用，现在已经有点嫌弃27B了
5、iq3确实有点不舒服，所以我用它来驱动HERMES将UD的IQ4X_IS模型做了适配，可以预计能力肯定进一步加强，可惜我内存不够，所以仅载成功载入，一推理就提示内存不够，直接退出。
6、还有个对于我来说很强的地方，整机功耗从600W降低到450W，显卡只需要150W左右，这个时候显卡风扇都懒得动。600W的话，显卡风扇是全力运转的，噪音起飞。又快又省，（好又多？？） -
哈哈 超爽, 昨天剛好在Reddit 遇到 Strata的作者 Niko1221 有跟他打了聲招呼,
按照目前技術發展的態勢, 說不定 2027年底 我們每個人的機器 都能跑接近前延模型的SOTA Local LLMs,
Strata, NInfer 真是讓人太爽了 ！
-
本帖参与讨论人数已达 15+，入选热议，作者 +3 积分奖励，感谢分享！