不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！
-
@kos-or 我就让豆包出了几道编程题，分别给几个大模型做，然后给豆包评分，这个flash豆包评分最高
我就让豆包出了几道编程题，分别给几个大模型做
我目前是讓 ChatGTP5.6-SOL high評分, 共11道題,
最後面三道題目是GPT6.0-Astra high 出的, 難度特高Extreme Extreme Exam, 大概要花2~3個小時才能解出目前參賽者有7個 都是 27B, Qwen Flash的模型
目前 NInfer-Qwen3.8-27B-NVFP4 暫列第一, QFN排名第二, QFN還在做題測試中
但就藝術上的美感而言, 例如網頁創作, QFN目前第一, 27B的作品還是有AI的味道
-
8G????!!!!!!!!!!看來我的3060 12G不只能做動畫了，晚點驗證看看
8G????!!!!!!!!!!看來我的3060 12G不只能做動畫了，晚點驗證看看
我的3060 12g 已经跑起来了。我靠，用swift1.5 128k 上下文竟然可以32 tok/s。
-
-
-
哈哈 超爽, 昨天剛好在Reddit 遇到 Strata的作者 Niko1221 有跟他打了聲招呼,
按照目前技術發展的態勢, 說不定 2027年底 我們每個人的機器 都能跑接近前延模型的SOTA Local LLMs,
Strata, NInfer 真是讓人太爽了 ！
-
-
-
-
@kos-or 对啊 我是长期在英国，目前在伦敦，我有想过在ebay买，但是感觉坑很多，而且不知道是不是矿卡，这边也很多人挖矿的。
国内买的话，我可以先测试好，有问题可以退货， 大佬你推荐我买哪张性价比的？ -
我也用上了，这是我除了第一次使用AGENT完成第一个任务之后最激动的一次了，我跑的是官方指定的最大的IQ3_S模型，特点是：
1、快，很快！单卡3080可以跑到70TS，峰值140TS，PR和很强，可以超过1200。
2、快，越来越快，越用越快。开始可能只有40，只要长输出，就会越来越快，PR也不会因为上下文长度而降速
3、只要内存够大，KV可以不做量化，我就是KV都用F16的，直接拉满256K上下文
4、能力很强，35B这些肯定就不用再看了，我是保留了一个27B作为灾难备份使用，现在已经有点嫌弃27B了
5、iq3确实有点不舒服，所以我用它来驱动HERMES将UD的IQ4X_IS模型做了适配，可以预计能力肯定进一步加强，可惜我内存不够，所以仅载成功载入，一推理就提示内存不够，直接退出。
6、还有个对于我来说很强的地方，整机功耗从600W降低到450W，显卡只需要150W左右，这个时候显卡风扇都懒得动。600W的话，显卡风扇是全力运转的，噪音起飞。又快又省，（好又多？？） -
哈哈 超爽, 昨天剛好在Reddit 遇到 Strata的作者 Niko1221 有跟他打了聲招呼,
按照目前技術發展的態勢, 說不定 2027年底 我們每個人的機器 都能跑接近前延模型的SOTA Local LLMs,
Strata, NInfer 真是讓人太爽了 ！
-
-
哈哈 超爽, 昨天剛好在Reddit 遇到 Strata的作者 Niko1221 有跟他打了聲招呼,
按照目前技術發展的態勢, 說不定 2027年底 我們每個人的機器 都能跑接近前延模型的SOTA Local LLMs,
Strata, NInfer 真是讓人太爽了 ！
帮我们感谢他，真的太棒了，让一众低价卡都找到了希望，让高能力高速度低预算不可能三角成为了可能
-
哈哈 超爽, 昨天剛好在Reddit 遇到 Strata的作者 Niko1221 有跟他打了聲招呼,
按照目前技術發展的態勢, 說不定 2027年底 我們每個人的機器 都能跑接近前延模型的SOTA Local LLMs,
Strata, NInfer 真是讓人太爽了 ！
帮我们感谢他，真的太棒了，让一众低价卡都找到了希望，让高能力高速度低预算不可能三角成为了可能
-
-
-
-
@kos-or 大佬，你测试r9700 能跑 Qwen3.8-Flash-Next 吗？ 就这个帖子的repo？
能不能给我们发一下测试数据？ 你是用双卡跑吗？ 我一直在纠结amd的卡有一些限制，比如没法微调模型，所以倾向Nvidia 的卡。
现在R9700也涨了不少 -
-
@kos-or 哎 对啊 光买显卡还不行，还有内存要考虑，可能没有个3-4万都不能配一台LLM了
本帖参与讨论人数已达 15+，入选热议，作者 +3 积分奖励，感谢分享！
