八張 RTX Pro 6000 總共768GB VRAM - the little Monster

[kos or]

@terry 那個是 影片截圖
Source : https://www.youtube.com/watch?v=m81djC-xnt8

Supermicro SYS-422GL-NR（或 SYS-422GL-FNR2）是企業級 4U MGX 雙路伺服器，專為大規模人工智慧、深度學習和高效能運算 (HPC) 工作負載而設計。它支援最多 8 個雙寬 PCIe 5.0/6.0 GPU，並配備第六代英特爾 Xeon 處理器。

[johnnybegood]

@kos-or 说:

https://www.youtube.com/watch?v=m81djC-xnt8

买得起也没地方放啊，。。。

[kos or]

@johnnybegood 大哥好呀 ～ 開個玩笑 假如您不介意可以放我工作室旁邊的小房間, 你自己遠程開關機 電費自付; Deepseek-V4-Pro 862B params 偶爾借我用一下 電費我按照token使用量分擔

說到這邊 相較之下說不定DSV4 API成本更低??

[johnnybegood]

@kos-or 看了视频， 电耗果然恐怖如斯

[Tony Wang]

下一座AI数据中心，可能就挂在你家墙上
5 月 5 日，加州创业公司 Span 和英伟达（Nvidia）公布了一项合作：把一个名叫 XFRA 的白色金属箱挂在美国普通住宅外墙上，紧挨着空调外机和电表。每个箱子里塞着 16 块 Nvidia Blackwell GPU、4 个 AMD EPYC CPU 和 3TB 内存，是企业级 AI 推理服务器的标准配置。

要是能白嫖这个的算力, 那就理想了. 它给钱, 但是不知道能不能覆盖住电费.

[kos or]

@Tony-Wang 謝謝分享 這做法很有創意

可能是電力網路暫時無法提供compute center 電力, 才會出現這種做法, 假如法規上沒有嚴格限制, 可能會比建造一個 compute center快許多, 能暫時滿足一個街區block的算力需求.

這系統大概需要OAuth, 我猜白嫖的話最後還是要按照tokens計算價格, 除非美國零元購社團成員把16 GPUs RTX Pro 6000拔走拿到黑市銷售

當然也可能透過hacking 繞過OAuth和機器上的Secucrity Agent的監視系統 使用算力 我們到時候看看hackers 怎麼做的 哈

[kos or]

以廠商來說 需要保護 RTX Pro 6000 資產 有辦法從硬體端 hardware lock 鎖定嗎？
我知道 CPU 可以鎖定 只能在某些特殊主機板上使用 - locked and unlocked CPUs
假如Nvdidia 在RTX Pro 6000 加上一個MAC address 那應該可以追蹤被偷走的GPUs 假如上線的話

[kos or]

假如使用 RTX Pro 6000 Max-Q 版本 TDP 300 W, 300W x 16 GPUs = 4800 W 這數字還行
只要住戶有錢可拿 噪音方面能有效控制好 (不能吵到 住家晚上睡覺)
這有大量部署可行性 只要整體收入能承擔這些額外增加的營運成本(相比於compute center的規模經濟)

[kos or]

@terry 我也好奇這八張要怎麼連接在一起 ？
能跑八張 TP張量運算嗎？ 還是八張PP在一起？也有可能是8個獨立的GPUs 服務

[566656661]

@kos-or

應該是依靠PCIe跑TP8 (2, 4, 8, 16這樣上去)

[kos or]

@566656661 因為我目前的主板 PCIe 提供的速度不一致 還無法使用TP2, 等新的主板到了 提供一致的PCIe 速度 再玩看看PP/TG的效果如何 我看相關論文效能上是有增加的

[566656661]

@kos-or

是有增加, 但並不是1 + 1 等於2那種 (因爲需要Nvidia的NCCL), 越加上去邊緣效應估計會越嚴重,