混搭 DGX Spark GB10 Prefill + Mac Studio Decode

[kos or]

很有趣的組合, 不知道效果如何？

分享一下網路上AI熱愛者的經典作品 ：混搭 GB10 Prefill + Mac Studio Decode

擁有 2.4 TB 統一記憶體的傳奇之作

• 7 塊 DGX Spark ：896 GB
• 5 塊 M3 Mac Studio ：1.5 TB
• NVIDIA 負責處理昂貴的Prefill。
• Apple Silicon 晶片負責模型運行和高效率Decode。
• 快取跨越普通 10Gb 乙太網路。

[Tony Wang]

有意思, 这是互相取长补短啊... 但是10G以太网互联, 有点儿太慢了, 估计会成为瓶颈.

[kos or]

@Tony-Wang

如果都是二手的 總金額也不低, 效能需要能超越 RTX Pro 6000 和剛出來的 NVIDIA DGX Station (US$100,000)

[张光璞]

@Tony-Wang 说:

有意思, 这是互相取长补短啊... 但是10G以太网互联, 有点儿太慢了, 估计会成为瓶颈.

雷电4 有40Gb 的带宽

[terry]

问题是跑ComfyUI怎么办？还是一群废物，被单台RTX Pro6000吊起来打。

[許托比]

@terry 就安靜小巧低功耗+mac生態+rtx 5000等級的地端ai體驗 主打一個舒適

[Che]

PD分离么，有点意思。但是GB10算力一般；通信带宽也许足够了，但延迟可能会很糟糕。

[kos or]

@terry said:

问题是跑ComfyUI怎么办？

我猜跑ComfyUI 機主可能用隔壁的Pro6000 四卡機