这可能是目前本地部署GLM5.2 的最佳方案了

[fcme]

这个模型，体积算是在相对比较头部的模型里面，最适合本地部署的，体积没有那么的夸张。
翻到这个Repo，有实力的老哥可以冲了，只要1.8个w美元。

https://github.com/drowzeys/keys-latest-GLM-5.2-Quantrio-INT4-INT8-Mixed-Abliterated-DFlash-4x-DGX-Sparks

速度也不差，完全可用

Concurrency C1–C4 (count 1→40)
C Median aggregate tok/s Best aggregate Best per-stream mean
1 40.3 40.3 40.3
2 56.1 63.3 31.7
3 72.0 72.7 26.0
4 95.7 102.4 25.6
Long prefill
Approx target Actual prompt tokens Wall Prefill tok/s Status
2k 1884 3.1s ~610 OK
8k 7467 14s ~535 OK
16k 14911 22s ~690 OK
32k 29792 48s ~626 OK
64k 59562 107s ~557 OK
96k 95981 190s ~506 OK

[terry]

只要1.8万美金，这个只字用的好。看名字是去对齐版本，这预填充速度，如果没有强力缓存机制配合，那简直是要命。

[fcme]

对于有实力的个人，或者说有公司业务需求的，那这个价格真的是便宜了。
因为用的是USD，所以可以用只，哈哈。
人民币的话应该在10W档位，不知道DGX现在国内啥行情。

[Tony Xu 0]

dgx spark的bandwidth在消费级虽然不差，但依然是硬伤，体感上和其他消费级卡比起来即便是接近，也在数学和物理上限制了吞吐，个人觉得属于高级入门或初级专业级，但对于4个并行能跑GLM5.2来说，性价比真不错，只是还是那句话：多卡支撑模型的能效比真的堪称是贵族

[fcme]

@Tony-Xu-0
现在，分布式的推理框架越来越成熟了。以前，Mac 上有一个exa，那个多台并联的效果，就已经很不错了。虽然不是线性叠加的。

这个版本用了DFlash，所以它的推理速度是没什么问题的。只是 PP 速度对 Agent 应用还是有点低。不过就像版主说的，做好缓存优化的话，绝对是可用的。对 GLM5.2 的印象相当不错，像Kimi那样废话多，左右互搏倒停不下来。本地个人运行不追求并发的话，估计以后 AMD 也会出更有性价比的产品。

[soop ladios]

我跑的是這個 https://github.com/ciprianveg/gb10-glm-5.2
不過是用八台, 為了榨出更多的併發數, 我用了DCP4 , prefill跟tok/s都慢不少, 不過得到300K x 10 的ctx

如果是DCP1的話會快上不少, 這是作者的數據:

[terry]

刚DeepSeek V4 Flash 正式版发布，kimi本地部署可以忘掉了。

[fcme]

@soop-ladios
已经相当不错了。

[fcme]

@terry
确实感觉像是后训练了另外一个模型的既视感。
Flash确实是本地部署的杀手

[terry]

@fcme 两张Pro6000 也得20万 不过Fast LLM弄好点的CPU内存，六七万也能跑Flash。没啥卵用，都是有钱人的玩物，有这个钱，API烧到十几年后了。

[fcme]

@terry
是啊，DS 的flash才是agi的门票，普惠大众，用的多了也能给梁圣多喂喂语料助力国产模型的升级。这玩意在openrouter上霸榜已经很久了，看来是语料攒够了。

[fly86]

2年后10w的硬件搞定，2年后回来看看，希望论坛还在

[terry]

两年后论坛肯定还在啊，我很多网站早就不赚钱了，还在挂着。以后做一个专题谈下，考古。

[mark]

不错, glm 5.2 算是 目前来说,公认的 智商比较好的开源版本了. 不过 deepseek flash 正式版也出了, 她们可以掰手腕了