關於GB10跟N1X
-
1，主机配置没什么问题，不需要升级，RTX Pro6000用来生图做视频都无敌。单张就足够豪华了，再买也是空置。小主机就更不用买了，就用好这一张卡，就是最好的方案。
2，如果没有什么特别机密的，比如反攻大陆的档案，可以使用DeepSeek V4 Flash驱动Hermes，费用很小，体验会好很多。使用电报沟通也很流畅，比GPT更快。它的智能水平我也测试过很多次。Qwen3.5 122B知识面不错，但是它跑Hermes的话很蠢，完全不如3.6 27b。
3，你可以买一个Mac mini或者如果有退役的笔记本，16G内存以上的，专门用来跑Hermes效果会更好。我的M1 16G跑起来的体验不错，32G内存+11800H处理器的笔记本，Ubuntu24.04系统，可以同时跑好几个Hermes，体验流畅，也相当稳定。
4，可以补充一些真实图片，增加吸引力，不然你帖子太长了，一般人看不下去，我看的头疼。 -
個人直覺建議,有預算直接多一張rtx pro 6000 96g 我也是台灣小白 哈,台灣硬件真的貴得離譜..
-
N1X基本上就是DGX Spark拔掉ConnectX-7網卡, 而ConnectX-7也是被很多人詬病說發熱嚴重 (畢竟就是伺服器裏拔出來的)
DGX Spark本身就只是個實驗品, 給大學實驗室或者小團隊決定是否要用DGX H100伺服器, 然而Spark的強悍之處也就是用這個網卡聯接多部DGX Spark做成一個Cluster, 用Token速度換取大統一內存容量
如果質疑自己是否需要DGX Spark的話, 那百份之九十以上是不需要
更大參數的模型基本知識量會更多, 不過現在很多大參數的模型都在用MoE了, Deepseek自己也是Activation 49B
-
通读了全文，很尴尬的一点是，从模型能力的角度考虑，目前并没有150~190GB能够吊打qwen3.6-27B的开源模型。
目前而言，老的大体量模型体现的也只有知识容量的优势。Agent能力、注意力分配以及ToolCall能力在开源领域要么就是新的超大模型，要么就是qwen3.6-27B这类新的小模型。
因为中等体量模型很长时间都没有更新过了。他们的后训练和能力对齐普遍跟不上时代需要。目前的中体量模型很像一个老教授。有知识，有认知，但是不会用手机，不会打字。
所以如果是我，我就不会推荐楼主去购入新设备。边际收益递减的太过明显。无论是GB10 x2，还是RTX PRO 6000 x2，都没有明显超越PRO 6000 x1的场景出现。
-
@CHIA-AN-YANG 您好，我覺得多一張96G顯卡，應該是目前環境下最順的，可是192G顯存跑不了375b的模型，我也不知道375b有沒有真的比較好，謝謝
-
N1X基本上就是DGX Spark拔掉ConnectX-7網卡, 而ConnectX-7也是被很多人詬病說發熱嚴重 (畢竟就是伺服器裏拔出來的)
DGX Spark本身就只是個實驗品, 給大學實驗室或者小團隊決定是否要用DGX H100伺服器, 然而Spark的強悍之處也就是用這個網卡聯接多部DGX Spark做成一個Cluster, 用Token速度換取大統一內存容量
如果質疑自己是否需要DGX Spark的話, 那百份之九十以上是不需要
更大參數的模型基本知識量會更多, 不過現在很多大參數的模型都在用MoE了, Deepseek自己也是Activation 49B
@566656661 感謝您的分析，我想用更大的模型也不是為了多少能力，只是希望在hermes底下運作時不要常罷工，謝謝
-
通读了全文，很尴尬的一点是，从模型能力的角度考虑，目前并没有150~190GB能够吊打qwen3.6-27B的开源模型。
目前而言，老的大体量模型体现的也只有知识容量的优势。Agent能力、注意力分配以及ToolCall能力在开源领域要么就是新的超大模型，要么就是qwen3.6-27B这类新的小模型。
因为中等体量模型很长时间都没有更新过了。他们的后训练和能力对齐普遍跟不上时代需要。目前的中体量模型很像一个老教授。有知识，有认知，但是不会用手机，不会打字。
所以如果是我，我就不会推荐楼主去购入新设备。边际收益递减的太过明显。无论是GB10 x2，还是RTX PRO 6000 x2，都没有明显超越PRO 6000 x1的场景出现。
-
@怪物 395b对于你跑Agent也不会更好，本地模型不会比在线的更好，无论你部署多大的。长期用建议你切换到DeepSeek，你说的这些模型我都用过。你要明白Agent需要的能力是大模型的一个很小的训练区域，但是很重要，在这个领域27b稠密模型有天然的推理效率优势，它只是很耗资源而已。如果你一定要全部本地，那么再买一个Pro6000确实很好，因为它确实很牛逼。
-
@kop-wang 感謝您的分析，我沒用過qwen27b的模型，但是我裝過qeen3.5:35b fp16的無審查模型，在hermes底下，分析限制級圖片的結果比122b模型還簡陋很多，也更容易罷工，我是以為35b的應該會比27b的強（是嗎？），但是很多人都推薦千問27b的模型，晚上我再來下載看看，請問您知道27b稠密無審查模型的完整名稱嗎？謝謝
@怪物 楼主的错误可以理解，很多人人为模型的“体量”=“能力”。但实际上并不是如此。
体量只决定静态知识储备和统计学趋势（类似于一个人没手机，无工具情况下，自己的脑子里的知识总量和思维判断）。
能力就更为复杂一些。举个简单粗暴的例子，一个小学生+google，知识体量也一定赢过大学生自身脑容量，但是实际场景的问题解决，则不见得谁更强。
所以认知模型能力更相对客观的是看benchmark，也就是跑分。
我比较常用参考的跑分网站：https://benchlm.ai/llm-agent-benchmarks我最推荐的Qwen3.6-27B非拒绝模型是https://huggingface.co/HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive
仅供参考。
-
@566656661 感謝您的分析，我想用更大的模型也不是為了多少能力，只是希望在hermes底下運作時不要常罷工，謝謝
-
@terry 好的，謝謝您的建議，我再來試試很多人推薦的27b模型，只是我不懂：稠密模型，是有特別的含義嗎？請問您知道有千問27b稠密無審查的模型嗎？有的話請問他的完整檔名是？我再用AI搜尋下載試試，謝謝
-
@怪物 395b对于你跑Agent也不会更好，本地模型不会比在线的更好，无论你部署多大的。长期用建议你切换到DeepSeek，你说的这些模型我都用过。你要明白Agent需要的能力是大模型的一个很小的训练区域，但是很重要，在这个领域27b稠密模型有天然的推理效率优势，它只是很耗资源而已。如果你一定要全部本地，那么再买一个Pro6000确实很好，因为它确实很牛逼。
-
@terry 好的，謝謝您的建議，我再來試試很多人推薦的27b模型，只是我不懂：稠密模型，是有特別的含義嗎？請問您知道有千問27b稠密無審查的模型嗎？有的話請問他的完整檔名是？我再用AI搜尋下載試試，謝謝
-
@CHIA-AN-YANG 您好，我覺得多一張96G顯卡，應該是目前環境下最順的，可是192G顯存跑不了375b的模型，我也不知道375b有沒有真的比較好，謝謝
