體感經驗 哪一個強?? Qwen3.8-Flash vs. Qwen3.8-27B
-
-
-
-
测试了2个方案,还是觉得strata+flash-next更智能、更快。2张4090下,输出能200 t/s,prefill能到7600 t/s。能耗设置330W,温度不过60,GPU LOAD也能跑满。体感上速度和网络API差不多了
-
-
-
-
我本來也是27B用好一陣子 但Flash Next用過回不去了 速度與知識面差距太大
@dardeaw-feng 同样的感觉。真的用不回去了。
-
-
有没有这样一种可能,QFN有一定的量化感知能力,或者说作为MOE模型,它的自信心没有27B那么强。
导致QFN在对一件事没有把握的时候会反复重新思考,试图激活更多的参数,这样让答案的准确率更高? -
-
我感觉让flash 准备规划 然后dense 执行?
-
@dardeaw-feng 同样的感觉。真的用不回去了。
-
@johnnybegood
加一! 体感就比27B好一档,如果预算够的话,弄俩9700来跑这个模型。
现在说是pp能到8000左右TG200左右,那就相当牛逼丝滑了! 更难能可贵的是,这是一个moe模型显卡跑的时候单张功耗只有100多瓦,27b能把显卡干冒烟 -
让flash 准备规划 然后dense 执行
這方式 我也覺得不錯 !說不定可以搭配出 不同的效果

-
@fcme 那个是strata 才是消耗比较少
如果全在vram 我觉得也是一样strata 的消耗是跑去cpu了
-
@kos-or 我今天用strata 分配文件检查工作给dense 至少 暂时没什么问题
-
-
-