外行人的疑問
-
各位前輩大家好,我是台灣的外行中年人,
大概在四五個月前,我看了版主的一個視頻,裡面説rtx Pro 6000 96g是一張真神卡,我就花了365000台幣買了一張,
搭配192g的記憶體,全部大概55萬台幣
組了一台新電腦,再聽版主說hermes很
好用,也開始學著安裝hermes跟學習ComfyYU,新電腦實際跑下來,感覺真的很好用,六7月我想試試安裝本地板更大
參數的模型,所以考慮再買一張pro 6000,可是當時的價格已經漲到47萬台幣,
又聽說英偉達的gb10在秋天以後,
會降到15萬台幣以下,所以我就想再等等,
可是看了很多人說,外行人最好不要碰gb10,所以我最近又想要買一張顯卡來
增加我的顯存,結果昨天看到台灣的pro 6000已經漲到575000台幣約122000
人民幣,我就在想,現在不買的話,會不會越等越貴?又想問大家,我的ASUS ProArt Z890-CREATOR WIFI主機板是有兩個
pcie5*16的插槽,那除了再買一張
pro 6000,可不可以再買其他不同的卡來安裝?讓我的電腦可以跑更大參數的模型?不好意思囉嗦了很多,請見諒,謝謝
-
各位前輩大家好,我是台灣的外行中年人,
大概在四五個月前,我看了版主的一個視頻,裡面説rtx Pro 6000 96g是一張真神卡,我就花了365000台幣買了一張,
搭配192g的記憶體,全部大概55萬台幣
組了一台新電腦,再聽版主說hermes很
好用,也開始學著安裝hermes跟學習ComfyYU,新電腦實際跑下來,感覺真的很好用,六7月我想試試安裝本地板更大
參數的模型,所以考慮再買一張pro 6000,可是當時的價格已經漲到47萬台幣,
又聽說英偉達的gb10在秋天以後,
會降到15萬台幣以下,所以我就想再等等,
可是看了很多人說,外行人最好不要碰gb10,所以我最近又想要買一張顯卡來
增加我的顯存,結果昨天看到台灣的pro 6000已經漲到575000台幣約122000
人民幣,我就在想,現在不買的話,會不會越等越貴?又想問大家,我的ASUS ProArt Z890-CREATOR WIFI主機板是有兩個
pcie5*16的插槽,那除了再買一張
pro 6000,可不可以再買其他不同的卡來安裝?讓我的電腦可以跑更大參數的模型?不好意思囉嗦了很多,請見諒,謝謝
-
先講結論:您這套 Pro 6000 96G + 192G 記憶體已經是本地玩家最頂級的配置,現階段「跑更大參數」的空間比您想像的大很多,不建議現在再花 57.5 萬台幣追第二張。
一、96G 現在能跑什麼
- 70B 級 dense 模型 Q4 大概 40GB,輕鬆跑
- 100B 級 Q4 大概 60GB,也放得下
- 200B 以上的 MoE 大模型(Q4 量化後 120GB 起跳)才裝不下
- ComfyUI 影片生成(H3 33B 約 25GB)更是綽綽有餘
也就是說,除非您明確鎖定 200B 級以上的模型,否則第二張卡不會讓「能跑的模型」多多少。
二、第二個 PCIe 5.0 x16 槽(您的核心問題)
- 您的 Z890-CREATOR 兩個槽插滿會切成 x8+x8,對 LLM 推理影響不大(層間只傳 KB 級數據)
- 關鍵:Blackwell 工作站卡(RTX PRO 6000)已經取消 NVLink,兩張 96G 沒辦法「合體」成 192G;要用第二張卡的顯存只能靠 llama.cpp --split-mode layer 或 vLLM 切層,走 PCIe 通信——能用,但不是 1+1=2 的速度
- 可以插不同廠牌的卡:NVIDIA 陣營的 5090 32G、4090 48G 魔改、4080S 32G 魔改都行,顯存疊加靠層切分;AMD 的 7900XTX/R9700 也能插,但 A+N 混插的驅動調試成本高,外行人真的不建議
- 實務建議:如果只是想要「LLM 和 ComfyUI 同時跑」或「多開幾個模型」,插一張 24G 的消費卡(例如二手 3090,現在大概 3-4 萬台幣)就夠了,幾萬台幣解決;再花 57.5 萬買第二張 Pro 6000 的邊際收益很低
三、越等越貴?
- 專業卡漲價的根因是 AI 需求,短期看不到明顯回落;但「怕漲價而買」是 FOMO,買了用不上才是最大的浪費
- GB10(DGX Spark,128G 統一記憶體)秋天後降到 15 萬台幣以下是真實消息,但它是「另一台機器」不是一張卡,跑 200B 級 MoE Q4 確實比雙卡省心,代價是 Linux-only、不可升級
- 「外行人不要碰 GB10」的說法有點誇大——它反而是比較容易上手的一體機;真正的問題是它跟您現有這台功能重疊,除非有明確的 200B 需求
最後老話一句:先定義「我非跑不可的模型」,96G 能覆蓋就繼續用現在的機器,覆蓋不了再決定買卡還是買 GB10,比追高穩。