論 迷你電腦 配合 RTX Pro 4500 的簡單測試, 以及Blackwell架構下的一些嘗試 (僅限Dense模型)

[566656661]

@CS6

現在當然沒有啦, 都升到2萬5了, 剛好卡在二手5090D低一點的位置

[CS6]

@fanwen1974 現金價的話，5090可能會比較便宜一點，但如果像我想要刷卡12到24 期基本上就只有 Pro 4500 ....，5090 都要配套裝，如果按每個月 1萬來說的話，其實就可以直接往上看到Pro 5000 (24期)

[CS6]

@566656661 说:

2萬5

還是比13萬台幣便宜很多....蠻心動的，缺點應該是保固要送回香港

[566656661]

@CS6

這個2萬5還是商家3月頭4月標定的, 很有可能下單又變了

[CS6]

@566656661 4080s 32g 魔改卡呢？ 只要一半價格

[566656661]

@CS6

魔改卡那就當然風險自負啊, 錘大不就吃虧了嘛

魔改卡因為vbios無法調教, 噪音跟token能耗比會差過專業卡, 現在4080 32 gb都要1萬3到1萬4人民幣, 港幣1萬6到1萬7左右了, 相對起R9700的1萬多一點瞬間就沒什麼吸引力

我之前也有一張4090D 48GB, 就算限制功耗到300w用來半年就頂不住就賣了出去, 虧了大約1千5左右, 算是使用成本吧

[rolex lo]

更新一下香港 pro 4500已經要價27000 ~ 28000 了 5090 大概40000
pro 4500 比之前漲了 2~4000

[wml-ai]

@566656661 说:

@rolex-lo

還沒調整好, INT 4估計還能更快

INT4不會更快, 但是可以運用Autoround配合turboquant 4bit nc 壓榨更多KV Cache 空間 (詳情看22樓)

2張R9700走TP 2用Oculink跟 PCIe 5.0 x8 混合使用估計會出事誒, Oculink只有PCIe 4.0 x4, PCIe 5.0 x8, 結果就是只能走PCIe 4.0 x4

这种情况是推测，还是肯定会发生？

[566656661]

@wml-ai

推測, 但是基於TP自己需要多卡大量交換數據跟處理結果, PCIe的速度成了關鍵

VLLM的文件推薦使用TP的時候最好有類似NVLINK這樣的跨卡高速通道

[stxpnet]

@CS6 3年保修期没过，估计没大神敢这样玩。不过5090 走-私 版倒是可以。哈哈