論 迷你電腦 配合 RTX Pro 4500 的簡單測試, 以及Blackwell架構下的一些嘗試 (僅限Dense模型)

[566656661]

@wml-ai

噪音的話很安靜, 畢竟只有200w, 有load的時候風扇只有70%轉速

llama.cpp的話還沒太認真玩過, 我找個時間試試看

[rolex lo]

@wml-ai 一樣想法, 半年前想想, 應該不會入AI 坑吧
最後, 乖乖上會. 半年前 應該不會是1.2萬?

現在已經1.4萬...

我再想想的話, 應該要進老人院了...(被淘汰... )

[fanwen1974]

小疑問 , 買RTX Pro 4500 為何不買 5090 ?

[rolex lo]

@fanwen1974 性價比問題。兩張卡價錢完全不同。
本身起始點是R9700, 小弟比較清窮，沒法子拿出個3,5,7萬出來爽爽
有能力的5090只是甜點，更應買更多VRAM

就小弟能力所限只可以買4500

功率低，比R9700好
最重要價錢相宜，能負擔(剛剛再問代理又漲價3000)
沒有最好，只有合適

[566656661]

@fanwen1974

以混合用途LLM + 遊戲的話當然是5090 / 5090D比較好

但是整組組合一來只會作為伺服器使用, 不負責拿來玩ComfyUI, 核心再多性能也沒用, 最主要的瓶頸位在VRAM上面

二來5090燒接頭的問題讓我不太放心在沒人看著的時候用, 5090最低也有400w, 這張卡只有200w

三來香港的5090D跟5090其實比RTX Pro 4500還要更貴, 5090D現在已經沒有全新只有二手了, 最便宜2萬3, 正常2萬5以上, 還只剩最多2年的保養, 因大多數5090D卡都2025年年頭買, 保養到28年年頭, 正常5090已經是2萬8到3萬2了, 然後我這張卡2萬2, 全新3年保修

[CS6]

@566656661 現在還買得到這個價位的嗎？ 有的話我可以飛一趟香港。

[fanwen1974]

@566656661 了解，可能我在臺灣，5900 跟 RTX 4500 差不多價錢，才有這個疑問。臺灣的 RTX Pro 都太貴。開個COMPUTEX ， RTX Pro 6000 本來 38 萬 變 48 萬，神經病~

[566656661]

@CS6

現在當然沒有啦, 都升到2萬5了, 剛好卡在二手5090D低一點的位置

[CS6]

@fanwen1974 現金價的話，5090可能會比較便宜一點，但如果像我想要刷卡12到24 期基本上就只有 Pro 4500 ....，5090 都要配套裝，如果按每個月 1萬來說的話，其實就可以直接往上看到Pro 5000 (24期)

[CS6]

@566656661 说:

2萬5

還是比13萬台幣便宜很多....蠻心動的，缺點應該是保固要送回香港

[566656661]

@CS6

這個2萬5還是商家3月頭4月標定的, 很有可能下單又變了

[CS6]

@566656661 4080s 32g 魔改卡呢？ 只要一半價格

[566656661]

@CS6

魔改卡那就當然風險自負啊, 錘大不就吃虧了嘛

魔改卡因為vbios無法調教, 噪音跟token能耗比會差過專業卡, 現在4080 32 gb都要1萬3到1萬4人民幣, 港幣1萬6到1萬7左右了, 相對起R9700的1萬多一點瞬間就沒什麼吸引力

我之前也有一張4090D 48GB, 就算限制功耗到300w用來半年就頂不住就賣了出去, 虧了大約1千5左右, 算是使用成本吧

[rolex lo]

更新一下香港 pro 4500已經要價27000 ~ 28000 了 5090 大概40000
pro 4500 比之前漲了 2~4000

[wml-ai]

@566656661 说:

@rolex-lo

還沒調整好, INT 4估計還能更快

INT4不會更快, 但是可以運用Autoround配合turboquant 4bit nc 壓榨更多KV Cache 空間 (詳情看22樓)

2張R9700走TP 2用Oculink跟 PCIe 5.0 x8 混合使用估計會出事誒, Oculink只有PCIe 4.0 x4, PCIe 5.0 x8, 結果就是只能走PCIe 4.0 x4

这种情况是推测，还是肯定会发生？

[566656661]

@wml-ai

推測, 但是基於TP自己需要多卡大量交換數據跟處理結果, PCIe的速度成了關鍵

VLLM的文件推薦使用TP的時候最好有類似NVLINK這樣的跨卡高速通道