八張 RTX Pro 6000 總共768GB VRAM - the little Monster
-
@terry 那個是 影片截圖
Source : https://www.youtube.com/watch?v=m81djC-xnt8Supermicro SYS-422GL-NR（或 SYS-422GL-FNR2）是企業級 4U MGX 雙路伺服器，專為大規模人工智慧、深度學習和高效能運算 (HPC) 工作負載而設計。它支援最多 8 個雙寬 PCIe 5.0/6.0 GPU，並配備第六代英特爾
Xeon 處理器。买得起也没地方放啊，。。。
-
买得起也没地方放啊，。。。
@johnnybegood 大哥好呀 ～ 開個玩笑 假如您不介意可以放我工作室旁邊的小房間, 你自己遠程開關機 電費自付; Deepseek-V4-Pro 862B params 偶爾借我用一下 電費我按照token使用量分擔
說到這邊 相較之下說不定DSV4 API成本更低??
-
@johnnybegood 大哥好呀 ～ 開個玩笑 假如您不介意可以放我工作室旁邊的小房間, 你自己遠程開關機 電費自付; Deepseek-V4-Pro 862B params 偶爾借我用一下 電費我按照token使用量分擔
說到這邊 相較之下說不定DSV4 API成本更低??
@kos-or 看了视频， 电耗果然恐怖如斯
-
下一座AI数据中心，可能就挂在你家墙上
5 月 5 日，加州创业公司 Span 和英伟达（Nvidia）公布了一项合作：把一个名叫 XFRA 的白色金属箱挂在美国普通住宅外墙上，紧挨着空调外机和电表。每个箱子里塞着 16 块 Nvidia Blackwell GPU、4 个 AMD EPYC CPU 和 3TB 内存，是企业级 AI 推理服务器的标准配置。要是能白嫖这个的算力, 那就理想了. 它给钱, 但是不知道能不能覆盖住电费.
@Tony-Wang 謝謝分享 這做法很有創意
可能是電力網路暫時無法提供compute center 電力, 才會出現這種做法, 假如法規上沒有嚴格限制, 可能會比建造一個 compute center快許多, 能暫時滿足一個街區block的算力需求.
這系統大概需要OAuth, 我猜白嫖的話最後還是要按照tokens計算價格, 除非美國零元購社團成員把16 GPUs RTX Pro 6000拔走拿到黑市銷售
當然也可能透過hacking 繞過OAuth和機器上的Secucrity Agent的監視系統 使用算力 我們到時候看看hackers 怎麼做的 哈
-
@566656661 因為我目前的主板 PCIe 提供的速度不一致 還無法使用TP2, 等新的主板到了 提供一致的PCIe 速度 再玩看看PP/TG的效果如何 我看相關論文效能上是有增加的
-
@566656661 因為我目前的主板 PCIe 提供的速度不一致 還無法使用TP2, 等新的主板到了 提供一致的PCIe 速度 再玩看看PP/TG的效果如何 我看相關論文效能上是有增加的
-
是有增加, 但並不是1 + 1 等於2那種 (因爲需要Nvidia的NCCL), 越加上去邊緣效應估計會越嚴重,
@566656661 對呀 TP2 目前看來好像是最佳TP配置
等先把TP2 建置完成 後續再看看有什麼可以疊加的軟硬體 再接著調整因為預算有限 目前被單卡16GB 卡住了硬體框架 先這樣玩
最近要到貨的主機板有 6 x PCIe 4.0 x 16 lines 提供相同通訊速度
我再看看有沒有什麼有趣的玩法
