这可能是目前本地部署GLM5.2 的最佳方案了

[Tony Xu 0]

dgx spark的bandwidth在消费级虽然不差，但依然是硬伤，体感上和其他消费级卡比起来即便是接近，也在数学和物理上限制了吞吐，个人觉得属于高级入门或初级专业级，但对于4个并行能跑GLM5.2来说，性价比真不错，只是还是那句话：多卡支撑模型的能效比真的堪称是贵族

[fcme]

@Tony-Xu-0
现在，分布式的推理框架越来越成熟了。以前，Mac 上有一个exa，那个多台并联的效果，就已经很不错了。虽然不是线性叠加的。

这个版本用了DFlash，所以它的推理速度是没什么问题的。只是 PP 速度对 Agent 应用还是有点低。不过就像版主说的，做好缓存优化的话，绝对是可用的。对 GLM5.2 的印象相当不错，像Kimi那样废话多，左右互搏倒停不下来。本地个人运行不追求并发的话，估计以后 AMD 也会出更有性价比的产品。

[soop ladios]

我跑的是這個 https://github.com/ciprianveg/gb10-glm-5.2
不過是用八台, 為了榨出更多的併發數, 我用了DCP4 , prefill跟tok/s都慢不少, 不過得到300K x 10 的ctx

如果是DCP1的話會快上不少, 這是作者的數據:

[terry]

刚DeepSeek V4 Flash 正式版发布，kimi本地部署可以忘掉了。

[fcme]

@soop-ladios
已经相当不错了。

[fcme]

@terry
确实感觉像是后训练了另外一个模型的既视感。
Flash确实是本地部署的杀手

[terry]

@fcme 两张Pro6000 也得20万 不过Fast LLM弄好点的CPU内存，六七万也能跑Flash。没啥卵用，都是有钱人的玩物，有这个钱，API烧到十几年后了。

[fcme]

@terry
是啊，DS 的flash才是agi的门票，普惠大众，用的多了也能给梁圣多喂喂语料助力国产模型的升级。这玩意在openrouter上霸榜已经很久了，看来是语料攒够了。

[fly86]

2年后10w的硬件搞定，2年后回来看看，希望论坛还在

[terry]

两年后论坛肯定还在啊，我很多网站早就不赚钱了，还在挂着。以后做一个专题谈下，考古。

[mark]

不错, glm 5.2 算是 目前来说,公认的 智商比较好的开源版本了. 不过 deepseek flash 正式版也出了, 她们可以掰手腕了