<![CDATA[单台DGX 装qwen 3.8 next flash 500K token 长度，能用]]>https://github.com/blazux/qwen3.8-Flash-DGX

就这个质量还行把，接近Q8，一部分放显存里 一部分放硬盘上.token 长度500K。
我修正了一些参数 YARN=1 CTX=500000 GPU_MEM=0.80 MTP=3 SEQS=2
速度见下图，

356943c0-92c1-46ae-ab48-d833c0364231-image.jpeg

]]>https://lcz.me/topic/1510RSS for NodeMon, 07 Sep 2026 19:33:49 GMTSat, 05 Sep 2026 08:39:19 GMT60<![CDATA[Reply to 单台DGX 装qwen 3.8 next flash 500K token 长度，能用 on Sun, 06 Sep 2026 04:01:51 GMT]]>@Kk-Hh 我感觉Qwen flash很慢，但是如果你实际部署了不错，那么它足够用了，推理开高点，不着急无所谓。

]]>https://lcz.me/post/16121https://lcz.me/post/16121Sun, 06 Sep 2026 04:01:51 GMT<![CDATA[Reply to 单台DGX 装qwen 3.8 next flash 500K token 长度，能用 on Sun, 06 Sep 2026 01:13:32 GMT]]>

@johnnybegood 说:

@Kk-Hh 单台多少钱买的？

31000 人民币 JD买的，我是买的技嘉1T的版本，就以现在实际使用的情况来看，这机器也跑不了什么特别大的模型，买个1T版本就够了。

]]>https://lcz.me/post/16088https://lcz.me/post/16088Sun, 06 Sep 2026 01:13:32 GMT<![CDATA[Reply to 单台DGX 装qwen 3.8 next flash 500K token 长度，能用 on Sun, 06 Sep 2026 01:06:17 GMT]]>@Kk-Hh 单台多少钱买的？

]]>https://lcz.me/post/16086https://lcz.me/post/16086Sun, 06 Sep 2026 01:06:17 GMT<![CDATA[Reply to 单台DGX 装qwen 3.8 next flash 500K token 长度，能用 on Sun, 06 Sep 2026 00:53:02 GMT]]>说实话一个小机能跑成这样，你还要什么自行车啊。再买一台DGX SPARK 做双TP的QWEN 3.8 FLASH NEXT 或者 DPV4 FLASH 我觉得有点不太值，或者再买三台DGX SPARK 做4TP的 GLM 5.3 FLASH 更不值，我宁可多买点云端服务的额度。

]]>https://lcz.me/post/16083https://lcz.me/post/16083Sun, 06 Sep 2026 00:53:02 GMT<![CDATA[Reply to 单台DGX 装qwen 3.8 next flash 500K token 长度，能用 on Sun, 06 Sep 2026 00:48:05 GMT]]>

@MSHAVL 说:

@kk-hh 目前掛在我ai max395上切VRAM/RAM 64/64gb下用IQ4xs搭配dsh也非常舒服，＠41k上下文深度下pp200多/tg 20-30token/s開192k上下文，目前已經利用goal然後入睡前讓它大型專案開發，隔天早上起來收割。是確定可以做出前沿模型那種質量。但速度響應上就不苛求了。目前pp可能還有提升的空間應該會更好。

替代文字

我这个这个其实在300K TOKEN长度的时候 开MTP-3 其实生成速度也是 20-30token/s，TOKEN 最大长度在单台DGX SPARK可以设置成 1M 但是基于对这些FLASH 模型在云端使用的经验他们前500K还行，后500K 质量太差，所以我在本机就只开了500K的TOKEN长度。

]]>https://lcz.me/post/16082https://lcz.me/post/16082Sun, 06 Sep 2026 00:48:05 GMT<![CDATA[Reply to 单台DGX 装qwen 3.8 next flash 500K token 长度，能用 on Sat, 05 Sep 2026 12:44:16 GMT]]>@kk-hh 目前掛在我ai max395上切VRAM/RAM 64/64gb下用IQ4xs搭配dsh也非常舒服，＠41k上下文深度下pp200多/tg 20-30token/s開192k上下文，目前已經利用goal然後入睡前讓它大型專案開發，隔天早上起來收割。是確定可以做出前沿模型那種質量。但速度響應上就不苛求了。目前pp可能還有提升的空間應該會更好。
替代文字

]]>https://lcz.me/post/16027https://lcz.me/post/16027Sat, 05 Sep 2026 12:44:16 GMT<![CDATA[Reply to 单台DGX 装qwen 3.8 next flash 500K token 长度，能用 on Sat, 05 Sep 2026 11:02:53 GMT]]>@Kk-Hh 今天刚测的，我在我的3090加3080上面跑，解码都快40t/s了， 不过prefill比较慢才两三百

]]>https://lcz.me/post/16025https://lcz.me/post/16025Sat, 05 Sep 2026 11:02:53 GMT<![CDATA[Reply to 单台DGX 装qwen 3.8 next flash 500K token 长度，能用 on Sat, 05 Sep 2026 10:47:42 GMT]]>

@terry 说:

重要的不是别人说如何，是你自己感觉如何，你觉得好就行。

在我的工作环境下，实测这个版本的qwen 3.8 next flash 要好于我的qwen3.8 27b q8，就是速度对于dgx spark来说还是提不上来。所以呢着急我就用线上的glm 5.3 flash 和qwen 3.8 flash ，不着急的晚上挂机的，就让这个本地跑。https://commandcode.ai 这个站有个好处中外的模型都有了，特别复杂的就花钱用贵的模型。我这个本地机器就是平时做挂机基础执行环节的。

]]>https://lcz.me/post/16021https://lcz.me/post/16021Sat, 05 Sep 2026 10:47:42 GMT<![CDATA[Reply to 单台DGX 装qwen 3.8 next flash 500K token 长度，能用 on Sat, 05 Sep 2026 09:25:59 GMT]]>重要的不是别人说如何，是你自己感觉如何，你觉得好就行。

]]>https://lcz.me/post/16005https://lcz.me/post/16005Sat, 05 Sep 2026 09:25:59 GMT<![CDATA[Reply to 单台DGX 装qwen 3.8 next flash 500K token 长度，能用 on Sat, 05 Sep 2026 09:09:21 GMT]]>再啰嗦一句云端服务ollama cloud 的MAX现在好像不让新用户买了，原则还是ollama cloud 最便宜，其次https://commandcode.ai 也能用就是贵点
7ba35d4d-0c60-4e1e-8f38-af0824beaef0-image.jpeg
8420bb50-061d-4505-954e-97e8d495eb86-image.jpeg

]]>https://lcz.me/post/16001https://lcz.me/post/16001Sat, 05 Sep 2026 09:09:21 GMT<![CDATA[Reply to 单台DGX 装qwen 3.8 next flash 500K token 长度，能用 on Sat, 05 Sep 2026 09:04:35 GMT]]>82b93ccd-07d8-44f3-b285-459fecc82adf-image.jpeg
在我的配置下实际显存占用情况

]]>https://lcz.me/post/16000https://lcz.me/post/16000Sat, 05 Sep 2026 09:04:35 GMT<![CDATA[Reply to 单台DGX 装qwen 3.8 next flash 500K token 长度，能用 on Sat, 05 Sep 2026 08:52:25 GMT]]>a2a9d319-e106-4a48-8add-6b35ae0db2f3-image.jpeg
我补一张图这个是300-400K 的时候TOKEN生成速度。

]]>https://lcz.me/post/15997https://lcz.me/post/15997Sat, 05 Sep 2026 08:52:25 GMT