-
各位大大好
很興奮想和大家分享和閒聊一下花了足足3個星期。
現在2号電腦終於組裝好了。
還沒有測試已經超級疲倦
明天要趁太太和女兒去理髮，開機測試
多謝之前kos提議裝遙控開關。
但現在電腦沒有空位了。不過已經跟女兒說好上學前幫我開機放學後幫我關機。
現在一號機
用來運作語言大模型。
今天在windows lm studio 運行qwen3 80b q4km, 260k q4 kv context, gpu x2 TP, 輸出接近180token, 不過當時上下文只用了大約五par
速度相當快
但感覺上有點不穩定。之前沒有tp功能的時候是用pp。
速度大約是130
tp真是快很多。
不過gpu溫度明顯比pp高了
可能以後都會用pp算了。
Gpu太貴重要好好保護2號機作為agent
打算遙控生圖看了特哥很多的視頻決定用hermes
正如特哥在youtube所說，先把這部機跑起來。
希望明天一次過搞定
其他的慢慢在調節。 -
兄弟。方便的话。上图上配置。
-
我的兩部機配置如下。
1号
9950x3d
128gb 5600 內存
Tuf 5090
Pny 5090
主機板是asrock x870 creator
用這塊主機板的主要原因是因為它提供了兩條 pcie5 x8 mode 的插槽
再上就要買workstation 級別的主機板和其他配置。我覺得有點貴。
而且裝不進一個普通機箱。
我現在用的機箱是o11 xl
之前試過其他機箱，我認為要放下兩張gpu。這一個是最好的。
我的1號機。散熱方面，設計比較土炮
第一張是tuf5090。因為比較大張，而且兩張gpu的之間空間非常狹窄
所以第二張gpu我盡可能選小一點的。
第二張gpu是pny
兩張gpu的功耗分別限制在80%。
因為我怕燒接口
因為上面的gpu散熱比較慢
以往都是比較高溫
在上面的gpu背後有一個洞
我直接的把一把120mm的風扇放在上面。 把熱空氣由來往外抽。
做法比較土炮。不過我覺得效能非常之好。
以往都是下面有新鮮空氣的gpu溫度會低10度左右。
現在調轉頭上面的gpu反而溫度更低。這部電腦我日常都是用來玩遊戲或者處理一些私人事項
因為我不懂程式
亦太不會ai的運作。所以只能夠簡單地報告一下。現在這個測試。測試嘅平台 : lm studio
大模型 ： 千問3.5 122b a10b iq3m
上下文設定在25萬
Kv q4_0
Tensor parallel (之前lm studio沒有)整個大模型和上下文大約佔用54GB
測試如下（比較簡陋，請見諒。)
上下文
1% 124.45t/s
2% 120.85t/s
3% 118.29t/s
4% 115.28t/s
...
8% 101.94t/s
9% 99.21t/s
12% 94.63t/s
因為並不是高強度的測試。所以gpu的溫度大約為時在65度以下。我稍後會再進行一次詳細的測試
把上下文填到80%
再跟大家分享其實我想重點分享的主要是散熱的部分。
因為對我來說。用於輸出文字，50,60t/s甚至乎之前180t/s
我覺得意義不大。反正我的閱讀速度也沒有這麼快。
我更加著重的是這台電腦的保養。我覺得之前一路沒有辦法解決上面那一張gpu的散熱問題。就算idling 他的溫度50度多一點
曾經考慮過用開放式機箱。
不過因為家裡灰塵比較多。
比較驚喜的是我加了這一把。12cm的風扇在這一張gpu背後。
實質上把溫度降下不少。
現在idling 只有大約40度左右。
我覺得如果是用機箱的朋友可以考慮一下試一試這個操作。7月底放假的時候再跟大家詳細分享一下。
一個月的試用體驗 -
-
-
-
另外。2號機的部分。
配置都是差不多。
9900x
128gb 內存
Asrock x870e taichi(pcie5 x8 mode x 2)
3090 × 2
Gpu 是朋友送的rog3090, 我自己在補了一張。
這一台電腦我打算安裝agent。
全新的windows 及賬戶打算遙控操作
今天稍後進行安裝
-
我只是幸運地
硬件都是在漲價之前，偷偷地買入。（瞞着太太）
當時的記憶體大約128gb 大约2000
Gpu應該差不多是msrp因為以前不懂
打算買256gb ram回來運行235b
結果大家都明白。
9950+256gb + 235b,
能行 1t/s
以前太天真，打算1秒鐘一個字都沒有所謂
吃過飯回來就有幾千字了。
結果你懂的。已經把gpu 功耗限制到70%
謝謝你的提議。 -
，
T terry 将此主题从 随便聊聊 移至此处
