<![CDATA[有大神在本地部署 GLM 5.2 吗?]]>Hermes 下初步使用, 感觉这个模型比 deepseek 强不少. 不知道本地部署最低什么配置,什么体验...

]]>https://lcz.me/topic/826/有大神在本地部署-glm-5.2-吗RSS for NodeSun, 26 Jul 2026 20:00:54 GMTSat, 11 Jul 2026 13:25:28 GMT60<![CDATA[Reply to 有大神在本地部署 GLM 5.2 吗? on Fri, 17 Jul 2026 13:03:04 GMT]]>我感觉不如opencode GO，一个月也就10美金，但是可以跑GLM,KIMI,DEEPSEEK，QWEN一小部分，足够我们用了

]]>https://lcz.me/post/10032https://lcz.me/post/10032Fri, 17 Jul 2026 13:03:04 GMT<![CDATA[Reply to 有大神在本地部署 GLM 5.2 吗? on Thu, 16 Jul 2026 13:41:52 GMT]]>如果有可跑的项目。可以考虑。为了测测 参数 整一套 没什么意义。结果是可以预测的。肯定不如在线的。

]]>https://lcz.me/post/9984https://lcz.me/post/9984Thu, 16 Jul 2026 13:41:52 GMT<![CDATA[Reply to 有大神在本地部署 GLM 5.2 吗? on Thu, 16 Jul 2026 12:54:16 GMT]]>我觉得还是用云端的挺好 ，GLM5.2的确很强 安全阈值又低 我最近用的也比较疯,OLLAMA CLOUD 应该基本上是最便宜的了。

]]>https://lcz.me/post/9982https://lcz.me/post/9982Thu, 16 Jul 2026 12:54:16 GMT<![CDATA[Reply to 有大神在本地部署 GLM 5.2 吗? on Sun, 12 Jul 2026 02:53:01 GMT]]>现在本地也就跑生图和视频现实点，文本大模型还是富哥们的玩具，真要投个几万十几万来搞，够充API到天荒地老了

]]>https://lcz.me/post/9764https://lcz.me/post/9764Sun, 12 Jul 2026 02:53:01 GMT<![CDATA[Reply to 有大神在本地部署 GLM 5.2 吗? on Sat, 11 Jul 2026 16:10:40 GMT]]>@terry

很難啦 😰

Autoregressive類很多技術還沒研究跟實驗, Heretic跟Abliterator的去審查方式還沒實驗過, 微調跟Lora那些還是去看

]]>https://lcz.me/post/9751https://lcz.me/post/9751Sat, 11 Jul 2026 16:10:40 GMT<![CDATA[Reply to 有大神在本地部署 GLM 5.2 吗? on Sat, 11 Jul 2026 16:06:37 GMT]]>这个太不现实了，除非你是视金钱如粪土的富哥。
现在本地部署说实话还是有点儿尴尬，哪怕是27b这样的模型，哪怕你用的是5090，一到agent使用场景，因为现在毕竟是agent时代了，那个pp速度一慢了你如果要是没做好缓存优化的话，你是根本不会想主力用它的。如果只是聊个天，做一点文本工作聊天窗口那种，然后识别个图啊，OCR的话，我以前那个5070ti就挺好的，升级到5090也就是可以跑的量化精度高一点，但是依然解决不了稠密模型在本地部署情况下的慢的问题。你想27b都如此，那像glm5.2这种庞然大物，本地布属真的意义不大。你可以考虑租个云端的卡试验一下，最终的归宿应该还是调用的时候用API，反正现在智谱的，coding plan也买不到。

]]>https://lcz.me/post/9750https://lcz.me/post/9750Sat, 11 Jul 2026 16:06:37 GMT<![CDATA[Reply to 有大神在本地部署 GLM 5.2 吗? on Sat, 11 Jul 2026 16:01:38 GMT]]>@566656661 😢抓紧学习，全能起来，😂

]]>https://lcz.me/post/9749https://lcz.me/post/9749Sat, 11 Jul 2026 16:01:38 GMT<![CDATA[Reply to 有大神在本地部署 GLM 5.2 吗? on Sat, 11 Jul 2026 16:00:26 GMT]]>@terry

我在主力電腦上的ComfyUI還是人手打Prompt + 玩, 還沒到自動 😖

剛剛單純看一下要求的, 已經想到幾個難點是自己沒有想法的

]]>https://lcz.me/post/9748https://lcz.me/post/9748Sat, 11 Jul 2026 16:00:26 GMT<![CDATA[Reply to 有大神在本地部署 GLM 5.2 吗? on Sat, 11 Jul 2026 15:52:51 GMT]]>@soop-ladios

原來是這樣, 漲知識了

我還以爲會是類似家用網絡Switch那種, 一個頭接一個裝置

]]>https://lcz.me/post/9747https://lcz.me/post/9747Sat, 11 Jul 2026 15:52:51 GMT<![CDATA[Reply to 有大神在本地部署 GLM 5.2 吗? on Sat, 11 Jul 2026 15:50:01 GMT]]>@566656661 这个难度我觉得小意思，你试试看，我作为站长不方便参与，要不然我恨不得自己做。

]]>https://lcz.me/post/9746https://lcz.me/post/9746Sat, 11 Jul 2026 15:50:01 GMT<![CDATA[Reply to 有大神在本地部署 GLM 5.2 吗? on Sat, 11 Jul 2026 15:49:35 GMT]]>@terry

ComfyUI的話個人感覺我交不了貨啊

畢竟都是在折騰文字模型, 也就是Autoregressive類的

DiT類的功夫還沒到家 😖

]]>https://lcz.me/post/9744https://lcz.me/post/9744Sat, 11 Jul 2026 15:49:35 GMT<![CDATA[Reply to 有大神在本地部署 GLM 5.2 吗? on Sat, 11 Jul 2026 15:31:14 GMT]]>@566656661
CRS804是4 port 400G QSFP56-DD, 每個port由八條獨立的資料通道組成, 所以可以分出2x200G, 4x100G等等. 買對線就可以接8台或16台DGX spark. 我看TP 8的時候網路流量好像也沒有到100G, 所以接16台應該對速度也沒有影響. 我是買這條線, 接了8台
螢幕擷取畫面 2026-07-11 232515.png

]]>https://lcz.me/post/9742https://lcz.me/post/9742Sat, 11 Jul 2026 15:31:14 GMT<![CDATA[Reply to 有大神在本地部署 GLM 5.2 吗? on Sat, 11 Jul 2026 15:27:45 GMT]]>@566656661
@williamlouis 发布了个任务，有空的话可以接一个做作，超凡大师交易也问题不大。

]]>https://lcz.me/post/9741https://lcz.me/post/9741Sat, 11 Jul 2026 15:27:45 GMT<![CDATA[Reply to 有大神在本地部署 GLM 5.2 吗? on Sat, 11 Jul 2026 15:20:19 GMT]]>@soop-ladios

感謝回答, 因爲我不太熟悉網絡傳輸那方面, 所以有點好奇是怎麽連接

767af25b-0807-4374-a7ed-a4021d625f64-image.jpeg

如果我沒理解錯的話左邊QSFP-DD應該就是連接4台Spark

然後在透過Ethernet 連接下一台Switch?

]]>https://lcz.me/post/9739https://lcz.me/post/9739Sat, 11 Jul 2026 15:20:19 GMT<![CDATA[Reply to 有大神在本地部署 GLM 5.2 吗? on Sat, 11 Jul 2026 15:12:07 GMT]]>@566656661
2部鏈接在一起的話應該只能接到3台, 兩兩對接. 我是用MikroTik CRS804 switch 接到八台GB10的200G的port.

]]>https://lcz.me/post/9737https://lcz.me/post/9737Sat, 11 Jul 2026 15:12:07 GMT<![CDATA[Reply to 有大神在本地部署 GLM 5.2 吗? on Sat, 11 Jul 2026 15:07:22 GMT]]>@soop-ladios

20多應該還好吧, 至少可用

對了可以請教一下大大是怎麽Cluster的嗎? 是把每部Spark的ConnectX-7插到一個Switch上面嗎?

見到很多都是2部鏈接在一起

]]>https://lcz.me/post/9736https://lcz.me/post/9736Sat, 11 Jul 2026 15:07:22 GMT<![CDATA[Reply to 有大神在本地部署 GLM 5.2 吗? on Sat, 11 Jul 2026 15:06:55 GMT]]>最近我的DGX SPARK GB10增加到了10台, 其中八台拿來跑GLM5.2, ctx 320K x 10. 正在測試中, 感覺是比deepseek v4 flash強, 強多少要多跑幾天才知道
不過很慢, prefill 大概600-800, tok/s大概2x
ps. 四台就可以跑了, 參考 https://forums.developer.nvidia.com/t/glm-5-2-on-a-4x-gb10-cluster-22-tok-s-decode-256k-ctx-recipe/374125

]]>https://lcz.me/post/9734https://lcz.me/post/9734Sat, 11 Jul 2026 15:06:55 GMT<![CDATA[Reply to 有大神在本地部署 GLM 5.2 吗? on Sat, 11 Jul 2026 14:57:50 GMT]]>5× DGX Spark+NVFP4+MTP 1M TOEKN ，我猜可能能跑，20W人民币。2x DGX STATION Q8 1M TOKEN 我猜也能跑 20W 美金。 其他服务器版本估计都是天价了。

]]>https://lcz.me/post/9732https://lcz.me/post/9732Sat, 11 Jul 2026 14:57:50 GMT<![CDATA[Reply to 有大神在本地部署 GLM 5.2 吗? on Sat, 11 Jul 2026 14:27:57 GMT]]>GLM 5.2 是很强，想本地部署，但是成本太高了

]]>https://lcz.me/post/9730https://lcz.me/post/9730Sat, 11 Jul 2026 14:27:57 GMT<![CDATA[Reply to 有大神在本地部署 GLM 5.2 吗? on Sat, 11 Jul 2026 14:23:32 GMT]]>在本地部署模型 和云端感觉差太多了 还是云端通畅 稳定啊。一旦本地运行很多事情无法做啊。

]]>https://lcz.me/post/9729https://lcz.me/post/9729Sat, 11 Jul 2026 14:23:32 GMT<![CDATA[Reply to 有大神在本地部署 GLM 5.2 吗? on Sat, 11 Jul 2026 13:56:08 GMT]]>應該只能在大公司或者租用機器才能用到吧

本地可以玩的方法除了統一内存之外基本上不可行吧, DGX Spark Cluster這樣...

]]>https://lcz.me/post/9725https://lcz.me/post/9725Sat, 11 Jul 2026 13:56:08 GMT<![CDATA[Reply to 有大神在本地部署 GLM 5.2 吗? on Sat, 11 Jul 2026 13:50:40 GMT]]>在8卡A100的机器上跑起来过，不过内存不足，上下文窗口只剩了100k

]]>https://lcz.me/post/9724https://lcz.me/post/9724Sat, 11 Jul 2026 13:50:40 GMT<![CDATA[Reply to 有大神在本地部署 GLM 5.2 吗? on Sat, 11 Jul 2026 13:35:46 GMT]]>这个模型你可以理解为中国版本的cluade，你觉得好用，能负担就用，本地部署不太现实，部署好了也没有云端好用。

]]>https://lcz.me/post/9720https://lcz.me/post/9720Sat, 11 Jul 2026 13:35:46 GMT