論 迷你電腦 配合 RTX Pro 4500 的簡單測試, 以及Blackwell架構下的一些嘗試 (僅限Dense模型)

[566656661]

@fanwen1974

以混合用途LLM + 遊戲的話當然是5090 / 5090D比較好

但是整組組合一來只會作為伺服器使用, 不負責拿來玩ComfyUI, 核心再多性能也沒用, 最主要的瓶頸位在VRAM上面

二來5090燒接頭的問題讓我不太放心在沒人看著的時候用, 5090最低也有400w, 這張卡只有200w

三來香港的5090D跟5090其實比RTX Pro 4500還要更貴, 5090D現在已經沒有全新只有二手了, 最便宜2萬3, 正常2萬5以上, 還只剩最多2年的保養, 因大多數5090D卡都2025年年頭買, 保養到28年年頭, 正常5090已經是2萬8到3萬2了, 然後我這張卡2萬2, 全新3年保修

[CS6]

@566656661 現在還買得到這個價位的嗎？ 有的話我可以飛一趟香港。

[fanwen1974]

@566656661 了解，可能我在臺灣，5900 跟 RTX 4500 差不多價錢，才有這個疑問。臺灣的 RTX Pro 都太貴。開個COMPUTEX ， RTX Pro 6000 本來 38 萬 變 48 萬，神經病~

[566656661]

@CS6

現在當然沒有啦, 都升到2萬5了, 剛好卡在二手5090D低一點的位置

[CS6]

@fanwen1974 現金價的話，5090可能會比較便宜一點，但如果像我想要刷卡12到24 期基本上就只有 Pro 4500 ....，5090 都要配套裝，如果按每個月 1萬來說的話，其實就可以直接往上看到Pro 5000 (24期)

[CS6]

@566656661 说:

2萬5

還是比13萬台幣便宜很多....蠻心動的，缺點應該是保固要送回香港

[566656661]

@CS6

這個2萬5還是商家3月頭4月標定的, 很有可能下單又變了

[CS6]

@566656661 4080s 32g 魔改卡呢？ 只要一半價格

[566656661]

@CS6

魔改卡那就當然風險自負啊, 錘大不就吃虧了嘛

魔改卡因為vbios無法調教, 噪音跟token能耗比會差過專業卡, 現在4080 32 gb都要1萬3到1萬4人民幣, 港幣1萬6到1萬7左右了, 相對起R9700的1萬多一點瞬間就沒什麼吸引力

我之前也有一張4090D 48GB, 就算限制功耗到300w用來半年就頂不住就賣了出去, 虧了大約1千5左右, 算是使用成本吧

[rolex lo]

更新一下香港 pro 4500已經要價27000 ~ 28000 了 5090 大概40000
pro 4500 比之前漲了 2~4000

[wml-ai]

@566656661 说:

@rolex-lo

還沒調整好, INT 4估計還能更快

INT4不會更快, 但是可以運用Autoround配合turboquant 4bit nc 壓榨更多KV Cache 空間 (詳情看22樓)

2張R9700走TP 2用Oculink跟 PCIe 5.0 x8 混合使用估計會出事誒, Oculink只有PCIe 4.0 x4, PCIe 5.0 x8, 結果就是只能走PCIe 4.0 x4

这种情况是推测，还是肯定会发生？

[566656661]

@wml-ai

推測, 但是基於TP自己需要多卡大量交換數據跟處理結果, PCIe的速度成了關鍵

VLLM的文件推薦使用TP的時候最好有類似NVLINK這樣的跨卡高速通道