一直没找到在DGX上能完全满意的一套模型配置

[soop ladios]

@包磊 不錯喔，不過如果你之前沒試過，或許可以試試hermes直接接deepseek 看看，可能之前就是模型的問題而已
這兩天DGX論壇上也把單台dgx spark裝deepseek flash 0731搞到看起來還不錯，可以試試. 若一台覺得精度不夠，可能要看用量決定是再買一台來張量並行，還是直接用線上的.
兩台速度快很多，prefill 2000初 t/s, decode 40-60 tok/s, 精度也夠，看怎麼取捨了.

[terry]

Hermes直接接Deepseek就很好用.本地部署吃硬件，100G显存以内Qwen3.6 27b SGLang缺一不可，其他都是玩具。这些从几个月前就有大量测试佐证，没必要怀疑测试的人，自己一定要折腾其他方案。

[包磊]

单纯解决问题Hermes 跑 DeepSeek 是最简单的。其实我大部分工作都是这么完成的。折腾的原因是因为现成有一台 DGX，不用起来觉得亏的慌。没上Qwen3.6:27b 的前面已经说了。空了去试试。现在用SGLang 跑 qwen3:coder-next-FP8感觉也还行。生命不息，折腾不止

[mark]

是这个laguna 2.1 吗? 好像他是 做的qwen 3.6 27b

[soop ladios]

這個模型我有用一陣子, 蠻不錯的, 不過有一些過度思考跟loop輸出的問題, 而且他們好像還在tune, 可能再等一陣子吧.

[包磊]

GDX 部署好了 SGLang+27B 了。Mamba size 要自己显式设定等于你的并发数*5，否者 SGLang 会限制你的并发数。SGLang 在部署27B 的时候竟然认不全所有共享内存。我把--mem-fraction-static 1.4 才把看 kVcache撑起来。这个具体数值可能要自己根据情况看。 Hermes 出了 0.20.0 版，a2a和框架通讯都获益，不需要 cron，不需要 codex cli。Hermes 调用CC switch 配置27B的 codex 做点个人小项目泡一晚上都很稳。@soop-ladios

[linkdesu]

@soop-ladios 更进一步 2 台 DGX Spark 可以实现 1+1 > 2 的效果，看到没人提就分享一下，成本很高大家量力而行吧。仓库链接： https://github.com/MiaAI-Lab/DeepSeek-v4-Flash-DSpark-2x-DGX-Spark

[包磊]

我这里只有一台，deepseek 装上了，试了一下就停了，没法真的用。朋友那里有两台，在买线。过两天其他那里试试。

[neo]

这两天试了下claude code+sglang+qwen3.6-27B，除了coding，干其他也还行。

[soop ladios]

@linkdesu 我已經用兩台跑很久了，0731出來也已經換上了，真心不錯，速度快，kv緩存也夠500K x 6.
不過coding上使用起來感覺還是差glm 5.2一點，純個人感覺，沒有甚麼根據.
單純論性價比,dsv4f用兩台，glm 5.2至少要四台，dsv4f還是比較高的