抡锤者

@williamlouis R9700退役賣不掉還可以送給親戚小孩打電動(X

買 MI210 主要還是為了 SR-IOV 吧，對特定場境沒有 VGPU 卡就廢了
用不上 VGPU 就沒必要買 IDC 卡了

網路服務需要工信部牌照吧...我之前公司弄過超麻煩，而且你這個算是電信雲端計算服務？我記得不只一張牌照要申請吧....
東南亞當然不需要這些牌照，但問題是你機房設在哪邊？有沒有符合當地國家的法規？
那還有連線速度跟封包延遲....
包日无限token 比較香，但要看你能給啥 gateway

@zhenyu-huang 说:

A100

A100 已經在我們的汰換清單....主要是推理比不上 PRO6000 96G
除非二手價格真的很便宜，不然我覺得CP值不高
如果比5090便宜的話，我應該會買

@KAKAHermes 先去租來測試.... https://gpu-72ca.gputw.ai/zh-TW/pricing/gpu/DGX-Spark-GB10-4TB

我要找 HMAA8GL7AMR4N-VK - SK Hynix 64GB DDR4-2666 LRDIMM PC4-21300V-L Quad Rank x4 Module
有看到便宜的可以跟我說
上次買兩根還不到 1600 RMB

https://lcz.me/topic/1401/在辦公室架一套能共用的本地-ai-環境-qwen-3.8-pi-agent-與-kai-scheduler

kai-scheduler

@张光璞 DDR5 ... 64G 12萬多一根，24通道 128Ｇ根本天價

@mudfox 我單張卡跑27B可以出到50TpS ，不推薦你多卡，除非你要上到服務器等級的配置

@kos-or 如果他是AMD的平台的話根本不需要額外外接線 頂多就是延長線就可以了，看前面版我猜是美超微的機器，然後雙路的CPU，如果是這個條件的話有可能就是 Epyc 2*CPU 搭配 pcie switch 進行P2P ，這種情況下就是八條線一個CPU接 2~4條線pcie switch
但我自己不喜歡這個組合，很浪費交換的頻寬
Epyc 透過延長線一個處理器就可以處理四張顯卡了
兩顆自然就可以輕鬆處理 8卡不需要 pcie switch
但這樣對於硬碟還有高速光纖網路之類的設備，可能就會不夠用
內部線路通常不會走 OCulink 因為他不支援PC IE X 16的規格

@kos-or SFF8654-8i 這類型的基本上就是PC I E x8 / x4
4.0 OCulink or SASS /5.0 MCIO

@张光璞 內存去鹹魚看比淘寶便宜...

@KAKAHermes 這個價格，我勸你就別買了，除非你老闆真的人好錢多....
你先去確認一下到底電源跟空間能差多少張卡？
單純跑推理的話 B70 R9700 八卡就算一張以300瓦來算上電費還是省很多錢...
甚至你可以買到四台 GB10 ...

@許托比 開一家公司或是找一家公司幫你代購就好了，主要是電費/IDC要養得起，還有你撐得住這個顯卡折舊

撿漏三大跳戰
淘寶/鹹魚/京東

@Stoma-Stoma 遇到什麼坑啊？礦卡嗎？

@KAKAHermes 你的計劃沒錯，不推你N卡單純是你的不太合成本，HPE伺服器機箱空間應該是 4~8 卡看型號2U~4U分佈在四周，GPU Power Cable Kit 規格 A/M/I 新卡基本上一樣是12Pin 300~600w ，RTX PRO 6000 RTX PRO 5000 48/72GB 不推薦單純是 vgpu 分割後的CP值對你來說不高，15萬 RMB/HKD 都還是很極限的預算，可能滿足不了併發 session 需求，除非你都跑同一個模型給不同用途。

畢竟多一張卡就可以多開一個 session 速度還穩定(慢但可用)， N卡 優勢是你可以跑更大的 context 還有速度超快(但多併發會拖慢)，
所以才說你最好先做一下實驗確定需求

這部分我過幾週有空可以測試一下 PRO6000 跑 qwen 3.8 VLLM 到能併發多少用戶，
然後模擬 PRO6000 VS A100 / R9700 / 3090 對外 coding / RAG 服務的表現
真的要買 PRO6000 的話就要快，價格每天都在漲.....但有機會的話還是雙卡 PRO6000 起步會比較好

@KAKAHermes 為啥不支援？？？？？
你們家IDC IT 可以搞定吧，雙槽鼓風扇12pin 電源300w

那就插兩張R9700 上去吧⋯⋯
跑兩個 qwen 3.8 27b
主要是要考慮電源跟預算，你的選擇真的不多

@yun-wang 老哥，如果預算不夠推薦你買R
9700