關於GB10跟N1X
-
各位前輩大家好，
我是台灣一個55歲的電腦小白，
雖然接觸電腦快40年了，
但因為我完全看不懂英文，
對硬體還有一點初步了解，軟體就完全不行，
大概兩個月前，我新組了一台電腦，
CPU是Intel285K，192G的記憶體，
麗台RTX PRO 6000 96G顯卡，
目前用hermes本地版跑qwen3.5:122B
無審查的模型，跟用ComfyUI來繪圖，
使用起來的感覺很不錯，
一般的文生圖工作流，第一張圖約15-20秒
第2張圖以後都大概7秒一張，
122b的本地模型使用起來跟ChatGPT的
感覺也差不多，用桌面版的hermes反應有時候還比ChatGPT快一點，用telegram介面的話，就會比較慢，
這兩天我本來打算再買一張RTX PRO 6000 顯卡，用192G的顯存跑235B的模型，
但那張顯卡漲了10幾萬台幣，現在要10幾萬人民幣才買的到，我問AI有什麼替代方案，
他給我介紹了GB10的小主機，用兩台串聯，
可以跑405B的模型，再通過網路跟軟體連接，讓我用windows電腦操作
安裝在GB10的hermes，跑375B的模型，
然後讓hermes運作windows電腦上的ComfyUI來生成圖片或視訊，
雖然我現在用hermes操作ComfyUI的成品，都比手動操作ComfyUI還差一點，但我覺得那可能是我還不太會下指令，以後應該會改善，但是現在台灣的GB 10主機，一台也漲到了5萬多人民幣，所以我還在猶豫，
結果前天看到了6/1的YouTube，輝達説新出了一個N1X晶片，基本上是GB10晶片的改良版，完全支援windows系統，細節我也不是很清楚，只是聽說N1X系列的產品，大概今年秋季會推出，我的hermes告訴我，雖然N1X應該不能兩台串聯，但是到時候GB10的機台應該會降價...
所以我現在不知道應該再買一塊RTX PRO 6000，還是同樣的錢買兩台GB10，或者是聽AI的，等N1X的產品出來再比較看看，但是不知道會不會越等越貴...
我跟版主或各位前輩不一樣，我只是一個外行玩家，平均一天用電腦大概1小時，也就是有空時上C站成人版，找一些模型跟工作流，
然後等可以本地生成時，再用翻譯軟體亂改提示詞，然後叫AI幫我寫Python程式，
讓我上班時用telegram告訴hermes自動生成100-1000張圖片，然後再叫hermes把成品中相似度75-80%的圖片刪掉，剩下的自己下班慢慢看，至於視訊，我還不知道要到哪裡找模型跟工作流...不太會發文，囉嗦半天，請見諒，
謝謝 -
1，主机配置没什么问题，不需要升级，RTX Pro6000用来生图做视频都无敌。单张就足够豪华了，再买也是空置。小主机就更不用买了，就用好这一张卡，就是最好的方案。
2，如果没有什么特别机密的，比如反攻大陆的档案，可以使用DeepSeek V4 Flash驱动Hermes，费用很小，体验会好很多。使用电报沟通也很流畅，比GPT更快。它的智能水平我也测试过很多次。Qwen3.5 122B知识面不错，但是它跑Hermes的话很蠢，完全不如3.6 27b。
3，你可以买一个Mac mini或者如果有退役的笔记本，16G内存以上的，专门用来跑Hermes效果会更好。我的M1 16G跑起来的体验不错，32G内存+11800H处理器的笔记本，Ubuntu24.04系统，可以同时跑好几个Hermes，体验流畅，也相当稳定。
4，可以补充一些真实图片，增加吸引力，不然你帖子太长了，一般人看不下去，我看的头疼。 -
欢迎新人。我真全文阅读了。您想问点什么？升级建议。我是这么理解的。
但是你现在不是跑的很顺畅了吗？升级要做点什么新项目？@williamlouis 因為122b的模型在使用上，只要操作電腦的時候遇到幾個比較複雜的問題，常常會突然罷工，就是跟我說：我接下來要如何如何，但過了幾小時依然沒反應，我也不確定是不是模型的問題，只是想說能升級就升級看看，謝謝
-
1，主机配置没什么问题，不需要升级，RTX Pro6000用来生图做视频都无敌。单张就足够豪华了，再买也是空置。小主机就更不用买了，就用好这一张卡，就是最好的方案。
2，如果没有什么特别机密的，比如反攻大陆的档案，可以使用DeepSeek V4 Flash驱动Hermes，费用很小，体验会好很多。使用电报沟通也很流畅，比GPT更快。它的智能水平我也测试过很多次。Qwen3.5 122B知识面不错，但是它跑Hermes的话很蠢，完全不如3.6 27b。
3，你可以买一个Mac mini或者如果有退役的笔记本，16G内存以上的，专门用来跑Hermes效果会更好。我的M1 16G跑起来的体验不错，32G内存+11800H处理器的笔记本，Ubuntu24.04系统，可以同时跑好几个Hermes，体验流畅，也相当稳定。
4，可以补充一些真实图片，增加吸引力，不然你帖子太长了，一般人看不下去，我看的头疼。 -
個人直覺建議,有預算直接多一張rtx pro 6000 96g 我也是台灣小白 哈,台灣硬件真的貴得離譜..
-
N1X基本上就是DGX Spark拔掉ConnectX-7網卡, 而ConnectX-7也是被很多人詬病說發熱嚴重 (畢竟就是伺服器裏拔出來的)
DGX Spark本身就只是個實驗品, 給大學實驗室或者小團隊決定是否要用DGX H100伺服器, 然而Spark的強悍之處也就是用這個網卡聯接多部DGX Spark做成一個Cluster, 用Token速度換取大統一內存容量
如果質疑自己是否需要DGX Spark的話, 那百份之九十以上是不需要
更大參數的模型基本知識量會更多, 不過現在很多大參數的模型都在用MoE了, Deepseek自己也是Activation 49B
-
通读了全文，很尴尬的一点是，从模型能力的角度考虑，目前并没有150~190GB能够吊打qwen3.6-27B的开源模型。
目前而言，老的大体量模型体现的也只有知识容量的优势。Agent能力、注意力分配以及ToolCall能力在开源领域要么就是新的超大模型，要么就是qwen3.6-27B这类新的小模型。
因为中等体量模型很长时间都没有更新过了。他们的后训练和能力对齐普遍跟不上时代需要。目前的中体量模型很像一个老教授。有知识，有认知，但是不会用手机，不会打字。
所以如果是我，我就不会推荐楼主去购入新设备。边际收益递减的太过明显。无论是GB10 x2，还是RTX PRO 6000 x2，都没有明显超越PRO 6000 x1的场景出现。
-
@CHIA-AN-YANG 您好，我覺得多一張96G顯卡，應該是目前環境下最順的，可是192G顯存跑不了375b的模型，我也不知道375b有沒有真的比較好，謝謝
-
N1X基本上就是DGX Spark拔掉ConnectX-7網卡, 而ConnectX-7也是被很多人詬病說發熱嚴重 (畢竟就是伺服器裏拔出來的)
DGX Spark本身就只是個實驗品, 給大學實驗室或者小團隊決定是否要用DGX H100伺服器, 然而Spark的強悍之處也就是用這個網卡聯接多部DGX Spark做成一個Cluster, 用Token速度換取大統一內存容量
如果質疑自己是否需要DGX Spark的話, 那百份之九十以上是不需要
更大參數的模型基本知識量會更多, 不過現在很多大參數的模型都在用MoE了, Deepseek自己也是Activation 49B
@566656661 感謝您的分析，我想用更大的模型也不是為了多少能力，只是希望在hermes底下運作時不要常罷工，謝謝
-
通读了全文，很尴尬的一点是，从模型能力的角度考虑，目前并没有150~190GB能够吊打qwen3.6-27B的开源模型。
目前而言，老的大体量模型体现的也只有知识容量的优势。Agent能力、注意力分配以及ToolCall能力在开源领域要么就是新的超大模型，要么就是qwen3.6-27B这类新的小模型。
因为中等体量模型很长时间都没有更新过了。他们的后训练和能力对齐普遍跟不上时代需要。目前的中体量模型很像一个老教授。有知识，有认知，但是不会用手机，不会打字。
所以如果是我，我就不会推荐楼主去购入新设备。边际收益递减的太过明显。无论是GB10 x2，还是RTX PRO 6000 x2，都没有明显超越PRO 6000 x1的场景出现。
-
@怪物 395b对于你跑Agent也不会更好，本地模型不会比在线的更好，无论你部署多大的。长期用建议你切换到DeepSeek，你说的这些模型我都用过。你要明白Agent需要的能力是大模型的一个很小的训练区域，但是很重要，在这个领域27b稠密模型有天然的推理效率优势，它只是很耗资源而已。如果你一定要全部本地，那么再买一个Pro6000确实很好，因为它确实很牛逼。
-
@kop-wang 感謝您的分析，我沒用過qwen27b的模型，但是我裝過qeen3.5:35b fp16的無審查模型，在hermes底下，分析限制級圖片的結果比122b模型還簡陋很多，也更容易罷工，我是以為35b的應該會比27b的強（是嗎？），但是很多人都推薦千問27b的模型，晚上我再來下載看看，請問您知道27b稠密無審查模型的完整名稱嗎？謝謝
@怪物 楼主的错误可以理解，很多人人为模型的“体量”=“能力”。但实际上并不是如此。
体量只决定静态知识储备和统计学趋势（类似于一个人没手机，无工具情况下，自己的脑子里的知识总量和思维判断）。
能力就更为复杂一些。举个简单粗暴的例子，一个小学生+google，知识体量也一定赢过大学生自身脑容量，但是实际场景的问题解决，则不见得谁更强。
所以认知模型能力更相对客观的是看benchmark，也就是跑分。
我比较常用参考的跑分网站：https://benchlm.ai/llm-agent-benchmarks我最推荐的Qwen3.6-27B非拒绝模型是https://huggingface.co/HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive
仅供参考。
-
@566656661 感謝您的分析，我想用更大的模型也不是為了多少能力，只是希望在hermes底下運作時不要常罷工，謝謝
-
@terry 好的，謝謝您的建議，我再來試試很多人推薦的27b模型，只是我不懂：稠密模型，是有特別的含義嗎？請問您知道有千問27b稠密無審查的模型嗎？有的話請問他的完整檔名是？我再用AI搜尋下載試試，謝謝
-
@怪物 395b对于你跑Agent也不会更好，本地模型不会比在线的更好，无论你部署多大的。长期用建议你切换到DeepSeek，你说的这些模型我都用过。你要明白Agent需要的能力是大模型的一个很小的训练区域，但是很重要，在这个领域27b稠密模型有天然的推理效率优势，它只是很耗资源而已。如果你一定要全部本地，那么再买一个Pro6000确实很好，因为它确实很牛逼。
-
@terry 好的，謝謝您的建議，我再來試試很多人推薦的27b模型，只是我不懂：稠密模型，是有特別的含義嗎？請問您知道有千問27b稠密無審查的模型嗎？有的話請問他的完整檔名是？我再用AI搜尋下載試試，謝謝
-
@CHIA-AN-YANG 您好，我覺得多一張96G顯卡，應該是目前環境下最順的，可是192G顯存跑不了375b的模型，我也不知道375b有沒有真的比較好，謝謝
