求助!OCuLink/USB4 + 7900 XTX跑AI推理的实际表现如何?有没有用过的老哥说说大坑?
-
小弟自從接觸了老特說開始對本地AI萌生興趣,因為公司網路限制很多,封鎖大部分的AI domain,而且就算找到可以連的雲端AI,使用幾個小時下班前DLP告警就噴了幾百筆,嚇的我不敢再用,然後就腦筋就動到外接這招。
最近從淘寶買了一組需要自己DIY組裝的顯卡塢,連接方案我挑的是SlimSAS轉接卡不是常見的OCuLink/雷電,因為我們公司就是很常見的品牌套機,這些接口不存在的,本身就重加上電源供應器、7900XTX整組拎去公司簡直像舉啞鈴重訓一樣

費了一番力氣組裝好,裝好最新amd驅動,打開 GPUZ,有跑滿i5-9500世代的PCIE 3.0x16,實際表現因為才體驗一個多小時還沒有測太多,掛Qwen3.6-27b-Q4_K_M,文字推理一秒可以噴4x-5xT/s,個人覺得滿意,終於可以開始享受上班玩本地AI了。
-
小弟自從接觸了老特說開始對本地AI萌生興趣,因為公司網路限制很多,封鎖大部分的AI domain,而且就算找到可以連的雲端AI,使用幾個小時下班前DLP告警就噴了幾百筆,嚇的我不敢再用,然後就腦筋就動到外接這招。
最近從淘寶買了一組需要自己DIY組裝的顯卡塢,連接方案我挑的是SlimSAS轉接卡不是常見的OCuLink/雷電,因為我們公司就是很常見的品牌套機,這些接口不存在的,本身就重加上電源供應器、7900XTX整組拎去公司簡直像舉啞鈴重訓一樣

費了一番力氣組裝好,裝好最新amd驅動,打開 GPUZ,有跑滿i5-9500世代的PCIE 3.0x16,實際表現因為才體驗一個多小時還沒有測太多,掛Qwen3.6-27b-Q4_K_M,文字推理一秒可以噴4x-5xT/s,個人覺得滿意,終於可以開始享受上班玩本地AI了。
