<![CDATA[26-10-09 本地模型的消息汇总]]>image.jpeg

【图片跑的是113G的GLM 5.3 FLASH】
两张3090跑GLM 5.3 FLASH啥时候才能到 50t/s + 256K上下文？

以下 是四卡3090跑glm 5.3 flash:
image.jpeg

image.jpeg

3bit exl3的GLM flash 5.3 最高也只能跑到28token/s，占用218内存。
image.jpeg

image.jpeg

DGX Spark 集群 跑 GLM flash 5.3 exl3 的速度：
image.jpeg

{2636FB2C-F6B2-417F-B6FA-D5FCC10DEB14}.jpeg

]]>https://lcz.me/topic/2221RSS for NodeMon, 12 Oct 2026 13:29:43 GMTFri, 09 Oct 2026 12:42:51 GMT60<![CDATA[Reply to 26-10-09 本地模型的消息汇总 on Sun, 11 Oct 2026 18:19:10 GMT]]>这个环境下，挺吃配置啊。。。。要么上ddr5，要么上多4090/5090， 或者pro 6000 一步到位

]]>https://lcz.me/post/24075https://lcz.me/post/24075Sun, 11 Oct 2026 18:19:10 GMT