Qwen3.8-Flash-Next EXL3 双卡实测 60+T/S：MTP on/off 解码速度与多轮测速
-
@johnnybegood 女大应该大概率不会买3090。哈哈！decode可以。但是prefill载快点儿就好了。
@nami-ryuu 确实， 还没仔细优化调整。不过说实话我也不打算用这个模型来干活，思考太多了，有点费劲。
-
@suboyang 我看过很多评测文章和视频， 世界上公认 30t/s 就可以干活了， 所以说 70t/s 干不了活这说的有点夸张， 那你可能属于对速度非常敏感的 TOP 1% 人群， 并不能代表大部分人， 所以你的意见是不具有代表性的。 另外， Qwen3.8 27B 在 3090 单卡上就可以跑到 191 t/s 了， 双卡可以到 280t/s 左右， 供你参考， 我这个帖子如果你注意看的话， 我测的是 Qwen3.8 Flash Next, 完全是另外一个模型。
-
我用这个Qwen3.8-Flash-Next 干活已经干了两周了 速度是50token/s吧，而且我是调优关闭思考模式的。但是最后我还是放弃了，人是被模型拖着走的感觉， 最后我换回了deepseek。
-
-
-
-
-
去了解一下智普的领导层，基本没有做技术的，算力是租的，模型是抄的，训练集就是用来跑分的。资本都是哪个啥来的。你有钱会不会投智普？心里琢磨一下。
-
@suboyang 清华的张钹院士是我的老师，我会不知道么？呵呵呵
-
-
-
zcode偷代码
你是不是以为 zcode偷代码 是他们第一次干？还是认为是最后一次？
-
zcode偷代码
你是不是以为 zcode偷代码 是他们第一次干？还是认为是最后一次？
zcode偷代码已经把它钉在了耻辱柱上了。我谈的是 glm5.3的能力，不要带太多感情哈。。。
-
@johnnybegood
怪不得这么拉
，自己承认了。 -
@suboyang 这位兄弟你是不是对 60+T/S有什么误解
没有冒犯的意思哈。我估计去年或今年年初开始玩儿本地AI的人，大多数都是从手上的消费级PC和游戏显卡开始入手的，大家都是有啥弄啥，本地部署能跑到30+T/S，其实就已经很心满意足了。反正到了这个速度，至少对我来说，在Hermes 的 CLI 界面上，我的阅读速度已经赶不上它吐字的速度了。
当然了，对速度的要求肯定是因人而异，因任务而异。
以我自己为例，我以前用一块闲置很久的GTX 1060 6GB，本地跑 Qwen3.6-35B-A3B Q4_K_M， decode 才15 tok/s， 够慢吧。
但这块卡在我买 7900 XTX 之前，还真帮我干了不少活。
首先我拿它来识图。很多时候我需要一次喂几十张图片让它处理，它就在旁边慢慢并行跑；这样我的主力显卡可以继续留给本地推理，不会因为识图任务打断整个工作流。
另外，它给我本地拍娃的几万张照片分类打标签，慢归慢，但是够用，好用，还特别省电
。还有，我玩儿本地出视频的时候，它是我的”分镜头审核导演”。除了帮主模型检查提示词之外，它经常还能针对镜头提出修改意见。有时候一个建议就能避免一次无效抽卡，省下来的可能就是十几分钟，甚至几十分钟。
当然，要说快，还得是云端快，但是，为什么大家还要本地部署呢
？最后说下，Johnny大侠现在玩儿的是DIYer，贵在探索和创新，又没有考核和KPI压力，大家折腾这些东西，本来就是图个乐在其中。
-
@suboyang 这位兄弟你是不是对 60+T/S有什么误解
没有冒犯的意思哈。我估计去年或今年年初开始玩儿本地AI的人，大多数都是从手上的消费级PC和游戏显卡开始入手的，大家都是有啥弄啥，本地部署能跑到30+T/S，其实就已经很心满意足了。反正到了这个速度，至少对我来说，在Hermes 的 CLI 界面上，我的阅读速度已经赶不上它吐字的速度了。
当然了，对速度的要求肯定是因人而异，因任务而异。
以我自己为例，我以前用一块闲置很久的GTX 1060 6GB，本地跑 Qwen3.6-35B-A3B Q4_K_M， decode 才15 tok/s， 够慢吧。
但这块卡在我买 7900 XTX 之前，还真帮我干了不少活。
首先我拿它来识图。很多时候我需要一次喂几十张图片让它处理，它就在旁边慢慢并行跑；这样我的主力显卡可以继续留给本地推理，不会因为识图任务打断整个工作流。
另外，它给我本地拍娃的几万张照片分类打标签，慢归慢，但是够用，好用，还特别省电
。还有，我玩儿本地出视频的时候，它是我的”分镜头审核导演”。除了帮主模型检查提示词之外，它经常还能针对镜头提出修改意见。有时候一个建议就能避免一次无效抽卡，省下来的可能就是十几分钟，甚至几十分钟。
当然，要说快，还得是云端快，但是，为什么大家还要本地部署呢
？最后说下，Johnny大侠现在玩儿的是DIYer，贵在探索和创新，又没有考核和KPI压力，大家折腾这些东西，本来就是图个乐在其中。
-
@Ben-Lee 一点点试，一点点磨呗，老黄的卡潜力无限啊，现在头疼的是市面上可能没有品相很好的了，都被挑剩下了。我觉得最好的选择是咬牙上 RTX PRO 5000、6000等卡，否则很容易踩坑啊，或者找找有没有“女大学生、不玩游戏、自用3090，几乎全新”...嘿嘿...
-
@johnnybegood 不行啊兄弟，照着作业抄也不行。努力了，薪水一直涨不起来，额不，token速度跑不起来。
实测数据（刚跑的 32K prompt）：当前速度：
- Cold prefill: 335.7 t/s（32067 tokens / 95.5s）
- Decode: 4.92 t/s（64 tokens / 13s）
- E2E: 108.9s
你这第二张显卡发挥大作用了，我其实还挺惊讶的你的3080跑的是PCI4.0 X 4你还能跑出60+来
-
@johnnybegood 不行啊兄弟，照着作业抄也不行。努力了，薪水一直涨不起来，额不，token速度跑不起来。
实测数据（刚跑的 32K prompt）：当前速度：
- Cold prefill: 335.7 t/s（32067 tokens / 95.5s）
- Decode: 4.92 t/s（64 tokens / 13s）
- E2E: 108.9s
你这第二张显卡发挥大作用了，我其实还挺惊讶的你的3080跑的是PCI4.0 X 4你还能跑出60+来
@Ben-Lee Qwen3.8-Flash 其实也就是个Moe 模型，理论上不卸载到内存而是都在显存的话，应该比27B还快很多的， 当初我 3070 8G单卡跑 35B-A3B 模型能到20多t/s 的时候， 就意识到这个真有的玩。你让AI看看是不是有模型被卸载到硬盘或者SWAP内存去了，那个速度就差太多了，但是看你的prefill又不像，不知道你的显存+内存有没有超过100G?
你看我这个ctx和显存分配， 也是让AI帮我试了好多轮才试出来的，当然也不排除40G显存是个坎。 另外还有一个，我发现 exllamav3 会用到几乎100%的CPU， 我的cpu是 3950X， 还是比较猛的能相当一块小显卡了，跑的时候我看它真的是100%在干活，可能跟cpu性能也有关系。
-
