抡锤者

我也測試過雙卡用Q4，decode 是可以保持70%但prefill 掉很多只有原來2x%。最後用回q3_s

買了4 x3080 20G + h12-8d eypc
原來想用來運行 Qwen 3.8 27B / Qwen 3.8 Flash Next
但調試出來效果很差, 比我 2x 3090 24G 慢很多, 又比 strata 慢

現在多了這主板, 和4張卡大家覺得應該用來做什麼好

@koala 除了哪 3090 其他不大, 因為都只是風扇

https://www.bilibili.com/video/BV1ALha63Eyd/?trackid=web_pegasus_0.router-web-pegasus-2479516-f6fct.1790052429481.857&vd_source=0f4d937cc5bbfdd01e38a4c0a96ff348

https://github.com/Headmaster218/MoE4All

@johnnybegood 反正我有算力, 哪肯定用自己用. API 要付錢 lol 而且有了算力個人資料不用上傳, 很多文書工作也可以叫 agent 做了

@johnnybegood 我一個, 不過我會用比較多 sub agent 做牛馬收集資料

@johnnybegood 不知道呀, 我便意在JD 買的

@kos-or 因為強工作時我見風道比較細的卡都上到 80C 左右, 所以我便放一放風扇上去加大風流量. 是有用的, 最高溫度明顯比之前低 3-5C

TP 只可以 2 / 4

感谢论坛各位大神，分享下我目前的两台 AI 算力机配置，暂时都主要跑 LLM。

【机1：开放式 X99 四卡机】

硬件 / 型号规格 / 备注
机箱：开放式 X99 机箱
CPU：Intel Xeon E5-2666 v3（LGA2011-3，多卡机 CPU 很关键）
主板：华南金牌 X99-TF
内存：DDR3 1600 32G × 4 = 128G
硬盘：256G SATA SSD（旧电脑拆下来的）
电源：长城 1650W
显卡 1-2：RTX 3080 20G × 2（京东买）
显卡 3-4：RTX 3090 24G × 2（一张是弟弟送的三风扇卡，另买了 NVLink + Turbo 卡）

PCIe 接法（重点）：

• 所有卡都用 PCIe 延长线接
• 2×3080：走主板原生 PCIe 3.0 x16
• 2×3090：因为要上 NVLink，一张走 M.2 转 PCIe x16，另一张走 x4 转 x16
• 3090 是三风扇卡，NVLink 桥接时一高一低，3D 打印了个小支架顶平就解决了

【机2：EYPC H12-8D 整机】

硬件 / 型号规格 / 备注
整机：EYPC H12-8D（淘宝买的整机）
内存：128G DDR4
显卡 1-2：RTX 4080S 32G × 2（整机自带）
显卡 3-4：RX 7900 XTX × 2（后来自行加装）
电源：自行加装（配合 4 卡）

目前两台都主要用来跑 LLM，后续有实测数据再补充。欢迎讨论。

你加了 NVLink 也只有2張卡有效, 也是 2+ 2. 要看你用做什麼用

而且現在 Qwen 3.8 Flash next 也沒比 27B 好多少. 起碼要 DS V4.1 / GLM 5.3 Flash 才有明顯能力優勢. 這個你得要多少錢呀

@Quanta-Magic 你多用 Sub Agent, 我之前也是這樣, 之後我便叫他做 Orchestrator and use Sub Agent to do the work 這樣. 所以我大的 Model 都是用 API , 因為設置其實很麻煩而且有問題又要跟硬件. 所以我覺得如果不是企業用還是用些小模型就夠. 大的 API 買你如果只用他做 Orchestrator 用不了多少的

@Quanta-Magic 用 API 不好嗎, 我覺得小model 用做牛馬還行. 但大的還是買API 方便

@Quanta-Magic 不知道, 我是做網店的. 一直都有寄些車用配件過去, 我就寫是 sample 也沒有要我打稅

@Quanta-Magic UPS 寄過去就好了, 我經常寄

@Quanta-Magic 其實如果上下文 180k 夠你用其實加上了 HiCache 後跟 7900 和 4080S 就是 Prefill 比 4080S 慢些, 但跟 7900 差不多的. 我現在已經有點想再買4張 3080 加個 H12 的主板玩

其實我覺得重做的3080 其實現在價錢還是很可以的, 4千左右. 性能也沒比 7900 差太多.

@Quanta-Magic 香港的, 我是在Taobao 跟一個賣家買的, 第一次跟他買 2x 2080Ti. 看他的都測試過才出貨, 之後才再跟他買 2 x 4080S. 暫時還沒有問題. 但比 2x3080 貴4倍, 因為主機也貴些, 內存用DDR4 也貴些. 賣家也要有利潤所以我當時買要4萬左右. 我想就是你大約給4倍價錢, 買2倍的性能?

@Quanta-Magic 我沒有 9700, 4080S, 2080, 3080, 3090 剛到
其實自己有做開發, 不過比較主要是好奇心. 買了就測試一下玩下有需要又可以自己用

最好當然是 4080S 32G, 因為原生又支持 FP8. 但如果 7900 vs 3080 因為 7900 現在快比 3080 貴一倍. 但使用體驗其實沒有好一倍. 我覺得可能就好20-30%. 所以如果給我2者選1我應該都會選 2x 3080