體感經驗 哪一個強？？ Qwen3.8-Flash vs. Qwen3.8-27B
-
-
测试了2个方案，还是觉得strata+flash-next更智能、更快。2张4090下，输出能200 t/s，prefill能到7600 t/s。能耗设置330W，温度不过60,GPU LOAD也能跑满。体感上速度和网络API差不多了
-
-
-
-
我本來也是27B用好一陣子 但Flash Next用過回不去了 速度與知識面差距太大
-
-
有没有这样一种可能，QFN有一定的量化感知能力，或者说作为MOE模型，它的自信心没有27B那么强。
导致QFN在对一件事没有把握的时候会反复重新思考，试图激活更多的参数，这样让答案的准确率更高？ -
-
我感觉让flash 准备规划 然后dense 执行？
-
@dardeaw-feng 同样的感觉。真的用不回去了。
-
@johnnybegood
加一！ 体感就比27B好一档，如果预算够的话，弄俩9700来跑这个模型。
现在说是pp能到8000左右TG200左右，那就相当牛逼丝滑了！ 更难能可贵的是，这是一个moe模型显卡跑的时候单张功耗只有100多瓦，27b能把显卡干冒烟 -
让flash 准备规划 然后dense 执行
這方式 我也覺得不錯 ！說不定可以搭配出 不同的效果
-
@fcme 那个是strata 才是消耗比较少
如果全在vram 我觉得也是一样strata 的消耗是跑去cpu了
-
@kos-or 我今天用strata 分配文件检查工作给dense 至少 暂时没什么问题
-
-
-
-
我也说两句。听老特的，搞了两张 7900 XTX，一开始一直在用 Qwen3 27B 的 Q6_K_M。因为主板不支持 P2P，跑不了 SGLong，所以都是用 llama.cpp。主要拿来迭代我这边的管理后台项目，不算太复杂。
前几天看了老特的视频，让 DeepSeek 帮我部署了 Strata，两张卡跑 Qwen Flash Next 的 IQ3_S。我的体感是：从迭代项目的角度来说，QFN 更好一点，基本任务 90% 能一次通过，比较省心；27B 总会有点这样那样的问题遗留，要多次修改矫正才行。
但 QFN 虽然吐字速度比 27B 快一倍，执行任务时感觉反而比 27B 慢，而且对话 6、7 轮后就明显变得更慢，偶尔还会失败。所以我一般最多 8 轮对话就会重开新会话。
综合省心程度和质量来看，我觉得 QFN > 27B。
-
我也说两句。听老特的，搞了两张 7900 XTX，一开始一直在用 Qwen3 27B 的 Q6_K_M。因为主板不支持 P2P，跑不了 SGLong，所以都是用 llama.cpp。主要拿来迭代我这边的管理后台项目，不算太复杂。
前几天看了老特的视频，让 DeepSeek 帮我部署了 Strata，两张卡跑 Qwen Flash Next 的 IQ3_S。我的体感是：从迭代项目的角度来说，QFN 更好一点，基本任务 90% 能一次通过，比较省心；27B 总会有点这样那样的问题遗留，要多次修改矫正才行。
但 QFN 虽然吐字速度比 27B 快一倍，执行任务时感觉反而比 27B 慢，而且对话 6、7 轮后就明显变得更慢，偶尔还会失败。所以我一般最多 8 轮对话就会重开新会话。
综合省心程度和质量来看，我觉得 QFN > 27B。
