对 M5 MAX 跑本地大模型有点失望

[CS6]

我工作上是 Pro6000 *8 的方案，只能說如果公司有錢就買一櫃沒啥煩惱，GPT-OSS-120B 沒壓力，但訓練上大家還是覺得不夠用，這本來就不是給我們這些窮人單卡作業的需求... ，8 張能落地跑很多情境，但絕大多數同事還是用 chatGPT 比較快，mac跑LLM，只是幫你搞定重複性高又不好寫程式自動化的小流程
（只是分享 不建議購入，光是配套設施就很貴，沒事別玩機架式

[johnnybegood]

@Tony-Wang 了解了， 谢谢， 3090 35a3b 可以到 135t/s ， 128k上下文跑起来后 90-100

[johnnybegood]

@CS6 首先你家得有一套带地下室的别墅

[Tony Wang]

嗯, Mac 肯定是不能打, M5 Max 以上, 我估计LLM凑合, ComfyUI就更差.

所以我也是打算再配置一台 N卡的机器.

[CS6]

@tony-wang N卡除了 5090 / pro 6000 外還有窮人選擇嗎？

[Tony Wang]

我刚刚定了一块 pro 5000 48G, 主要用来跑 27b, 价格不到4万, 还有保修.

对比pro 6000 96G, 现在京东上都 12万, 15万, 甚至18万一张了.

[CS6]

@Tony-Wang 台幣 $245,000 這價格也是很難回本
要捏一下薪水

[Tony Wang]

没办法啊, 看中了它的48G. 如果是32G, 还有A卡可选, R9700性价比最高.

京东上 5090 的32G, 价格比我这个还高 , 你们台湾还能有满血保修, 我们这边啥都没有.

[kop wang]

@Tony-Wang 巧了，今天京东自营刚刚到货，准备过两天发帖

[Tony Wang]

@kop-wang

丽台的么?

[kop wang]

@Tony-Wang nv工包的，京东有两款，差价10元，买的38804的那款。

[Tony Wang]

@kop-wang

期待分享, 我买的丽台的, 38999. 不过我要7月初才能回国装机.

[kop wang]

@Tony-Wang 京东plus会员优惠接近200，如果不急退了冲个会员再买。

[Tony Wang]

来不及了, 已经下过单了

[566656661]

現在就是迷你電腦配上RTX Pro 4500

[Tony Wang]

@566656661 噪音如何?

[566656661]

@Tony-Wang

十分安靜, 本來就是200W的卡, 有load的時候也被桌機的電腦風扇蓋過了

RTX Pro系列很適合注重噪音跟功耗的人 (600W的RTX Pro 6000例外, 在說Max Q版本)

論Token能耗比會好過普通Geforce, 性價比就不要談了

[Tony Wang]

我看介绍说 涡轮转速不可调, 是完全固定转速的意思? 还是说它自己智能调整, 不接受外部的转速调整?

[566656661]

@Tony-Wang

對, 就算是沒load也會固定在30%風扇, RTX Pro系列風扇都不可調

補一補圖, 今晚可能會發個文簡單講一下

@rolex-lo

[Tony Wang]

@566656661

好的, 期待.