Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
【图片跑的是113G的GLM 5.3 FLASH】 两张3090跑GLM 5.3 FLASH啥时候才能到 50t/s + 256K上下文？
以下 是四卡3090跑glm 5.3 flash:
3bit exl3的GLM flash 5.3 最高也只能跑到28token/s，占用218内存。
DGX Spark 集群 跑 GLM flash 5.3 exl3 的速度：
这个环境下，挺吃配置啊。。。。要么上ddr5，要么上多4090/5090， 或者pro 6000 一步到位
你好！看起来您对这段对话很感兴趣，但您还没有一个账号。
厌倦了每次访问都刷到同样的帖子？您注册账号后，您下次访问时都将自动回到上次浏览的位置，并可选择接收新回复的通知（通过电子邮件或推送通知）。您还可以收藏帖子、为帖子点赞，以此向其他社区成员表达您的感谢。
有了你的建议，这篇帖子会更精彩哦 💗
