是說純硬體規格看來會強於RTX PRO 4500....
用這價位打來打GAME CP值頗低...用來跑AI又會打到自家的4500

4000 Pro目前應該在14K到16K港幣附近

說5080S出來直接打掛4000 Pro可不是開玩笑的

@566656661 说:

在香港估計5080S 24GB 要買估計也會買到13K港幣

請問 RTX PRO 4000 24 GB 目前香港價格多少呢？

如果 "5080S 24GB 要買估計也會買到13K港幣" 這推估價格以目前來看感覺還行
就是以現有的價格 24GB/16GB(VRAM增加50%)* 5070ti or 5080目前的價格
當然24GB有它大顯存的彈性空間 這點好處是吸引人的 到時候看溢價多少

我跟朋友討論過, 在香港估計5080S 24GB 要買估計也會買到13K港幣, 畢竟5080一直跟著5090D / Dv2的價格在浮動, 也剛好卡在一半左右

目前現在最便宜的5090 Dv2 也要接近23K港幣了

@daion1509 说:

5070ti Super和5080 Super感覺價格會比RTX PRO 4000 還貴

RTX 5090 32GB / 顯存帶寬 1790 GB/s
RTX PRO 4500 Blackwell 32 GB / 顯存帶寬 896 GB/s

這對比蠻合理的 NVIDIA RTX PRO 4000 Blackwell 24 GB / GDDR7 / Bandwidth
672.0 GB/s 目前報價 84,000台幣

如果 5070ti Super和5080 Super的24GB 顯存帶寬超過900 GB/s , 那價格很有機會超越$84K 到NT$100K (目前13萬～6萬的價格區間沒有顯卡型號)

拆分卡有2種。一種是帶plx芯片（或asm芯片）和retimer的拆分卡，另一種是不帶plx和retimer芯片的。
一般消費者cpu和主板，是不支持拆分。但是threadripper和epyc是支持的。
所以不需要買帶plx芯片的拆分卡。
那個帶芯片的拆分卡，把x16 分成2個x8，都要價2-3千rmb。
不帶芯片的拆分卡，大概300-500左右。

nvswitch的概念，其實就類似nvlink。差別在於，switch可以連接多個顯卡，而link只支持2個顯卡互聯。
所以，我不考慮使用nvlink，就是這個原因。
你説的那個pcie switch，拆分後，是會降速的。拆成2張，速度就變x8，拆成4張，就變x4。
nvswitch不會這樣降速。這就是nvswitch的優勢。這不是一般人能消費得起的硬件。

我看你之前的帖子說，你入手了threadripper pro wx 和 wrx80。
這個cpu是支持拆分的。你進bios，看看有沒有 bifurcation選項，就知道了。

好奇問問，這個cpu，是可以使用一般非ecc的消費者ram的，對嗎？

我之前問過chatgpt，得到答案是，pcie槽用的越多，顯卡數量越多，token生成速度會越慢。
token生產速度，跟顯卡算力、Vram頻寬和容量，關係較大。而pcie的聯通傳送資料的速度，如果太慢，就浪費了高頻寬的vram了。
你運行llm，一般都是把整個模型載入vram。所以ram的影響並不大。如果你想把模型放在ram，部分放在vram，還是算了。因爲，token生產速度，會慢到你放棄使用。
所以，我沒有太在意ram的速度。能運行和容量夠大就足夠了。
之前看yt上面，有人試過在epyc上面打開一堆軟件，去塞滿ram。但是，僅僅到了300多gb，電腦就卡了。
就算他支持2tb的ram，我覺得，好像也沒必要裝到那麽多。因爲cpu也沒辦法順暢運行。

第一次得知nvswitch , 這裝置的速度真快, 可能價格也不斐; 可以參考下PCIe Switch或許能滿足你的基本需求(剛得知 還沒研究過速度)

超大的模型 需要超大的記憶體頻寬, 否則跑出來的速度 5 token/s 可能達不到生產力需求
目前硬體方面能提升推論速度的好像只有 張量並行(兩張據說可以增加約50%的速度)
但越多張增加的比例會遞減 (以前看過 arXiv 上有一篇論文 在研究/測試 消費級顯卡在張量並行下的表現 可以請Agent幫你找一下)

目前二手的單條64gb Rdimm内存，在某寶最低去到1200rmb左右

我剛好在找二手的DDR4 RDIMM 沒想到有這種價格...
不過使用比較便宜的2133 可行嗎？有必要買到2666的速度嗎
因為最卡的大概就是LLM的推論速度了(?)

我是想拿來玩大型沒限制，或已經越獄的LLM模型。
小參數的模型，比如31b fp8，依然感覺很笨。

硬件方面，運行大模型，要求大量vram。一臺主機配10~12張顯卡。
多卡運行，顯卡之間需要有高速的連接。
這只有伺服器的nvswitch，才能完成。
一般家用，只能選擇支持多個 PCIE 4.0 x16 的主板和cpu。

我還沒試過，所以不知道10~12卡運行llm，token生成速度能有多慢。
打算一張一張慢慢纍計試錯。

考慮使用 EPYC 7002 系列處理器（7002開始才有128條pcie 4.0），這個也是目前最便宜的方案。
有錢的，可以上G492-Z51這類主板。
我預算緊，只能選MZF2-AC0、G2DERO-B、H12D-16D 主板。
或者用 Threadripper Pro wx cpu + WRX80 主板。
這類服務器主板，只支持單條64gb或以下的Rdimm或單條128gb或以下的LRdimm内存。
目前二手的單條64gb Rdimm内存，在某寶最低去到1200rmb左右。還可以。

這些都只有7條滿速 pcie 4.0 x16。
超過7個顯卡，要用拆分卡，把x16 分成2個 x8，速度降一半。

我不確定插了7個顯卡，token生成速度會怎麽樣。
如果還不錯，就考慮加到11張。由於機箱大小限制，只考慮加到11張。
https://item.taobao.com/item.htm?abbucket=5&id=945762243043（這是我目前看到唯一可以裝11張3槽位顯卡的機箱）

如果有米，可以考慮上EPYC 7004以上的cpu。那些都支持 Pcie 5.0，速度會快很多。但是DDR5 目前不合理的貴，看著還是不值得。

@Clinton-Bill 说:

原本還想入手多10張 3080 20g。

請問這麼多張 是要怎麼配置呢
一台主機裝兩張 還是一台6或8張 ？

我手上已經有2個3080 20g顯卡了。
原本還想入手多10張 3080 20g。
但是，看到這消息，頓時感覺3080 20g不香了。
現在等看 5070 super 18g 和 5070ti super 24g。
很可惜 5080 super 不是 32g。所以沒期待。

@Vincent-Chen 说:

N卡可能會推出24gb的super

這個消息有注意到, 價格方面大概是要疊加的, 以16GB的價格換成24GB的記憶體成本
目前好像是單顆 2GB x 8pcs , 換成 3GB x8pcs

因為老黃現在根本就放生了GeForce以及Pro系列, 專攻伺服器了