5070ti super 5080 super 24gb
-
原本還想入手多10張 3080 20g。
請問這麼多張 是要怎麼配置呢
一台主機裝兩張 還是一台6或8張 ？我是想拿來玩大型沒限制，或已經越獄的LLM模型。
小參數的模型，比如31b fp8，依然感覺很笨。硬件方面，運行大模型，要求大量vram。一臺主機配10~12張顯卡。
多卡運行，顯卡之間需要有高速的連接。
這只有伺服器的nvswitch，才能完成。
一般家用，只能選擇支持多個 PCIE 4.0 x16 的主板和cpu。我還沒試過，所以不知道10~12卡運行llm，token生成速度能有多慢。
打算一張一張慢慢纍計試錯。考慮使用 EPYC 7002 系列處理器（7002開始才有128條pcie 4.0），這個也是目前最便宜的方案。
有錢的，可以上G492-Z51這類主板。
我預算緊，只能選MZF2-AC0、G2DERO-B、H12D-16D 主板。
或者用 Threadripper Pro wx cpu + WRX80 主板。
這類服務器主板，只支持單條64gb或以下的Rdimm或單條128gb或以下的LRdimm内存。
目前二手的單條64gb Rdimm内存，在某寶最低去到1200rmb左右。還可以。這些都只有7條滿速 pcie 4.0 x16。
超過7個顯卡，要用拆分卡，把x16 分成2個 x8，速度降一半。我不確定插了7個顯卡，token生成速度會怎麽樣。
如果還不錯，就考慮加到11張。由於機箱大小限制，只考慮加到11張。
https://item.taobao.com/item.htm?abbucket=5&id=945762243043（這是我目前看到唯一可以裝11張3槽位顯卡的機箱）如果有米，可以考慮上EPYC 7004以上的cpu。那些都支持 Pcie 5.0，速度會快很多。但是DDR5 目前不合理的貴，看著還是不值得。
-
我是想拿來玩大型沒限制，或已經越獄的LLM模型。
小參數的模型，比如31b fp8，依然感覺很笨。硬件方面，運行大模型，要求大量vram。一臺主機配10~12張顯卡。
多卡運行，顯卡之間需要有高速的連接。
這只有伺服器的nvswitch，才能完成。
一般家用，只能選擇支持多個 PCIE 4.0 x16 的主板和cpu。我還沒試過，所以不知道10~12卡運行llm，token生成速度能有多慢。
打算一張一張慢慢纍計試錯。考慮使用 EPYC 7002 系列處理器（7002開始才有128條pcie 4.0），這個也是目前最便宜的方案。
有錢的，可以上G492-Z51這類主板。
我預算緊，只能選MZF2-AC0、G2DERO-B、H12D-16D 主板。
或者用 Threadripper Pro wx cpu + WRX80 主板。
這類服務器主板，只支持單條64gb或以下的Rdimm或單條128gb或以下的LRdimm内存。
目前二手的單條64gb Rdimm内存，在某寶最低去到1200rmb左右。還可以。這些都只有7條滿速 pcie 4.0 x16。
超過7個顯卡，要用拆分卡，把x16 分成2個 x8，速度降一半。我不確定插了7個顯卡，token生成速度會怎麽樣。
如果還不錯，就考慮加到11張。由於機箱大小限制，只考慮加到11張。
https://item.taobao.com/item.htm?abbucket=5&id=945762243043（這是我目前看到唯一可以裝11張3槽位顯卡的機箱）如果有米，可以考慮上EPYC 7004以上的cpu。那些都支持 Pcie 5.0，速度會快很多。但是DDR5 目前不合理的貴，看著還是不值得。
第一次得知nvswitch , 這裝置的速度真快, 可能價格也不斐; 可以參考下PCIe Switch或許能滿足你的基本需求(剛得知 還沒研究過速度)
超大的模型 需要超大的記憶體頻寬, 否則跑出來的速度 5 token/s 可能達不到生產力需求
目前硬體方面能提升推論速度的好像只有 張量並行(兩張據說可以增加約50%的速度)
但越多張增加的比例會遞減 (以前看過 arXiv 上有一篇論文 在研究/測試 消費級顯卡在張量並行下的表現 可以請Agent幫你找一下)目前二手的單條64gb Rdimm内存，在某寶最低去到1200rmb左右我剛好在找二手的DDR4 RDIMM 沒想到有這種價格...
不過使用比較便宜的2133 可行嗎？有必要買到2666的速度嗎
因為最卡的大概就是LLM的推論速度了(?) -
第一次得知nvswitch , 這裝置的速度真快, 可能價格也不斐; 可以參考下PCIe Switch或許能滿足你的基本需求(剛得知 還沒研究過速度)
超大的模型 需要超大的記憶體頻寬, 否則跑出來的速度 5 token/s 可能達不到生產力需求
目前硬體方面能提升推論速度的好像只有 張量並行(兩張據說可以增加約50%的速度)
但越多張增加的比例會遞減 (以前看過 arXiv 上有一篇論文 在研究/測試 消費級顯卡在張量並行下的表現 可以請Agent幫你找一下)目前二手的單條64gb Rdimm内存，在某寶最低去到1200rmb左右我剛好在找二手的DDR4 RDIMM 沒想到有這種價格...
不過使用比較便宜的2133 可行嗎？有必要買到2666的速度嗎
因為最卡的大概就是LLM的推論速度了(?)@kos-or
你説的pcie switch，其實就是我上面説的拆分卡。拆分卡有2種。一種是帶plx芯片（或asm芯片）和retimer的拆分卡，另一種是不帶plx和retimer芯片的。
一般消費者cpu和主板，是不支持拆分。但是threadripper和epyc是支持的。
所以不需要買帶plx芯片的拆分卡。
那個帶芯片的拆分卡，把x16 分成2個x8，都要價2-3千rmb。
不帶芯片的拆分卡，大概300-500左右。nvswitch的概念，其實就類似nvlink。差別在於，switch可以連接多個顯卡，而link只支持2個顯卡互聯。
所以，我不考慮使用nvlink，就是這個原因。
你説的那個pcie switch，拆分後，是會降速的。拆成2張，速度就變x8，拆成4張，就變x4。
nvswitch不會這樣降速。這就是nvswitch的優勢。這不是一般人能消費得起的硬件。我看你之前的帖子說，你入手了threadripper pro wx 和 wrx80。
這個cpu是支持拆分的。你進bios，看看有沒有 bifurcation選項，就知道了。好奇問問，這個cpu，是可以使用一般非ecc的消費者ram的，對嗎？
我之前問過chatgpt，得到答案是，pcie槽用的越多，顯卡數量越多，token生成速度會越慢。
token生產速度，跟顯卡算力、Vram頻寬和容量，關係較大。而pcie的聯通傳送資料的速度，如果太慢，就浪費了高頻寬的vram了。
你運行llm，一般都是把整個模型載入vram。所以ram的影響並不大。如果你想把模型放在ram，部分放在vram，還是算了。因爲，token生產速度，會慢到你放棄使用。
所以，我沒有太在意ram的速度。能運行和容量夠大就足夠了。
之前看yt上面，有人試過在epyc上面打開一堆軟件，去塞滿ram。但是，僅僅到了300多gb，電腦就卡了。
就算他支持2tb的ram，我覺得，好像也沒必要裝到那麽多。因爲cpu也沒辦法順暢運行。 -
N卡可能會推出24gb的super
這個消息有注意到, 價格方面大概是要疊加的, 以16GB的價格換成24GB的記憶體成本
目前好像是單顆 2GB x 8pcs , 換成 3GB x8pcs -
@kos-or
就目前5090比RTX PRO 4500 Blackwell貴上一截來看
5070ti Super和5080 Super感覺價格會比RTX PRO 4000 還貴
RTX PRO 4000規格面除了支援ECC和功耗低外幾乎會輸兩款Super....5070ti Super和5080 Super感覺價格會比RTX PRO 4000 還貴
RTX 5090 32GB / 顯存帶寬 1790 GB/s
RTX PRO 4500 Blackwell 32 GB / 顯存帶寬 896 GB/s這對比蠻合理的 NVIDIA RTX PRO 4000 Blackwell 24 GB / GDDR7 / Bandwidth
672.0 GB/s 目前報價 84,000台幣如果 5070ti Super和5080 Super的24GB 顯存帶寬超過900 GB/s , 那價格很有機會超越$84K 到NT$100K (目前13萬～6萬的價格區間沒有顯卡型號)
-
5070ti Super和5080 Super感覺價格會比RTX PRO 4000 還貴
RTX 5090 32GB / 顯存帶寬 1790 GB/s
RTX PRO 4500 Blackwell 32 GB / 顯存帶寬 896 GB/s這對比蠻合理的 NVIDIA RTX PRO 4000 Blackwell 24 GB / GDDR7 / Bandwidth
672.0 GB/s 目前報價 84,000台幣如果 5070ti Super和5080 Super的24GB 顯存帶寬超過900 GB/s , 那價格很有機會超越$84K 到NT$100K (目前13萬～6萬的價格區間沒有顯卡型號)
-
我跟朋友討論過, 在香港估計5080S 24GB 要買估計也會買到13K港幣, 畢竟5080一直跟著5090D / Dv2的價格在浮動, 也剛好卡在一半左右
目前現在最便宜的5090 Dv2 也要接近23K港幣了
-
在香港估計5080S 24GB 要買估計也會買到13K港幣
請問 RTX PRO 4000 24 GB 目前香港價格多少呢？
如果 "5080S 24GB 要買估計也會買到13K港幣" 這推估價格以目前來看感覺還行
就是以現有的價格 24GB/16GB(VRAM增加50%)* 5070ti or 5080目前的價格
當然24GB有它大顯存的彈性空間 這點好處是吸引人的 到時候看溢價多少 -
轉自(非官媒)
https://www.techpowerup.com/350658/nvidia-readies-geforce-rtx-5090-se-graphics-card
大概是想在5090和5080的巨大級距中再塞一片卡吧, (建議售價1500鎂看看就好)
但CUDA數比4090還少...
有人戲稱如果上圖規格是真的的話規格砍成這樣不是應該叫5080Ti嗎
(或是說這種規格才是5080應有的樣子, 而不是現在那16G VRAM版)是說純硬體規格看來會強於RTX PRO 4500....
用這價位打來打GAME CP值頗低...用來跑AI又會打到自家的4500
