-
兄弟。方便的话。上图上配置。
-
我的兩部機配置如下。
1号
9950x3d
128gb 5600 內存
Tuf 5090
Pny 5090
主機板是asrock x870 creator
用這塊主機板的主要原因是因為它提供了兩條 pcie5 x8 mode 的插槽
再上就要買workstation 級別的主機板和其他配置。我覺得有點貴。
而且裝不進一個普通機箱。
我現在用的機箱是o11 xl
之前試過其他機箱，我認為要放下兩張gpu。這一個是最好的。
我的1號機。散熱方面，設計比較土炮
第一張是tuf5090。因為比較大張，而且兩張gpu的之間空間非常狹窄
所以第二張gpu我盡可能選小一點的。
第二張gpu是pny
兩張gpu的功耗分別限制在80%。
因為我怕燒接口
因為上面的gpu散熱比較慢
以往都是比較高溫
在上面的gpu背後有一個洞
我直接的把一把120mm的風扇放在上面。 把熱空氣由來往外抽。
做法比較土炮。不過我覺得效能非常之好。
以往都是下面有新鮮空氣的gpu溫度會低10度左右。
現在調轉頭上面的gpu反而溫度更低。這部電腦我日常都是用來玩遊戲或者處理一些私人事項
因為我不懂程式
亦太不會ai的運作。所以只能夠簡單地報告一下。現在這個測試。測試嘅平台 : lm studio
大模型 ： 千問3.5 122b a10b iq3m
上下文設定在25萬
Kv q4_0
Tensor parallel (之前lm studio沒有)整個大模型和上下文大約佔用54GB
測試如下（比較簡陋，請見諒。)
上下文
1% 124.45t/s
2% 120.85t/s
3% 118.29t/s
4% 115.28t/s
...
8% 101.94t/s
9% 99.21t/s
12% 94.63t/s
因為並不是高強度的測試。所以gpu的溫度大約為時在65度以下。我稍後會再進行一次詳細的測試
把上下文填到80%
再跟大家分享其實我想重點分享的主要是散熱的部分。
因為對我來說。用於輸出文字，50,60t/s甚至乎之前180t/s
我覺得意義不大。反正我的閱讀速度也沒有這麼快。
我更加著重的是這台電腦的保養。我覺得之前一路沒有辦法解決上面那一張gpu的散熱問題。就算idling 他的溫度50度多一點
曾經考慮過用開放式機箱。
不過因為家裡灰塵比較多。
比較驚喜的是我加了這一把。12cm的風扇在這一張gpu背後。
實質上把溫度降下不少。
現在idling 只有大約40度左右。
我覺得如果是用機箱的朋友可以考慮一下試一試這個操作。7月底放假的時候再跟大家詳細分享一下。
一個月的試用體驗 -
-
-
-
另外。2號機的部分。
配置都是差不多。
9900x
128gb 內存
Asrock x870e taichi(pcie5 x8 mode x 2)
3090 × 2
Gpu 是朋友送的rog3090, 我自己在補了一張。
這一台電腦我打算安裝agent。
全新的windows 及賬戶打算遙控操作
今天稍後進行安裝
-
我只是幸運地
硬件都是在漲價之前，偷偷地買入。（瞞着太太）
當時的記憶體大約128gb 大约2000
Gpu應該差不多是msrp因為以前不懂
打算買256gb ram回來運行235b
結果大家都明白。
9950+256gb + 235b,
能行 1t/s
以前太天真，打算1秒鐘一個字都沒有所謂
吃過飯回來就有幾千字了。
結果你懂的。已經把gpu 功耗限制到70%
謝謝你的提議。 -
，
T terry 将此主题从 随便聊聊 移至此处
