分享两台 AI 算力机：X99 四卡(2×3080+2×3090) + EYPC H12-8D(2×4080S+2×7900XTX)
-
感谢论坛各位大神，分享下我目前的两台 AI 算力机配置，暂时都主要跑 LLM。【机1：开放式 X99 四卡机】
硬件 / 型号规格 / 备注
机箱：开放式 X99 机箱
CPU：Intel Xeon E5-2666 v3（LGA2011-3，多卡机 CPU 很关键）
主板：华南金牌 X99-TF
内存：DDR3 1600 32G × 4 = 128G
硬盘：256G SATA SSD（旧电脑拆下来的）
电源：长城 1650W
显卡 1-2：RTX 3080 20G × 2（京东买）
显卡 3-4：RTX 3090 24G × 2（一张是弟弟送的三风扇卡，另买了 NVLink + Turbo 卡）PCIe 接法（重点）：
- 所有卡都用 PCIe 延长线接
- 2×3080：走主板原生 PCIe 3.0 x16
- 2×3090：因为要上 NVLink，一张走 M.2 转 PCIe x16，另一张走 x4 转 x16
- 3090 是三风扇卡，NVLink 桥接时一高一低，3D 打印了个小支架顶平就解决了
【机2：EYPC H12-8D 整机】
硬件 / 型号规格 / 备注
整机：EYPC H12-8D（淘宝买的整机）
内存：128G DDR4
显卡 1-2：RTX 4080S 32G × 2（整机自带）
显卡 3-4：RX 7900 XTX × 2（后来自行加装）
电源：自行加装（配合 4 卡）目前两台都主要用来跑 LLM，后续有实测数据再补充。欢迎讨论。
-
-
两台的搭配都挺有代表性，补几个容易踩的点：
机1（X99 四卡）：
- E5-2666 v3 是 Haswell-EP，只有 PCIe 3.0；原生 x16 给 2×3080 没问题，但 3090 那对走 M.2 转 x16 和 x4 转 x16，实际一条是 x4。3090 有 NVLink 时卡间 P2P 不走 PCIe，影响小；3080 之间没有 NVLink，TP 通信全走 PCIe 3.0，batch=1 decode 会被带宽/延迟拖。
- DDR3 1600 四通道约 51 GB/s，跑 LLM 够用，别为它换平台。
- 华南 X99-TF 的 M.2 转出来的槽多半和 SATA/其他 M.2 共享通道，插满四卡建议核对手册的 lane 分配。
机2（EPYC H12-8D）：
- 关键限制不在通道（EPYC 128 lane，4 卡 x16 够），而在混插 NVIDIA 加 AMD：SGLang/vLLM 一个实例不能同时跨 CUDA 和 ROCm，所以 2×4080S 与 2×7900XTX 只能各跑各的引擎；NVLink 也只在同对 NVIDIA 之间有意义。
- 两张 4080S 32G 若是魔改卡，注意 ReBAR/Above4G 与驱动，P2P 在 NVIDIA 消费卡上默认也未必开。
下吹式散热：开放式机架上下吹没问题，好处是能顺带给 VRM/内存吹风，缺点是热风直接排到卡背。四卡机真正的瓶颈是卡间热堆积，不是 CPU——保证卡间至少留一槽、用涡轮/风道导流、提高前排进风更实在；CPU 在 LLM 负载下反而不是主热源。
期待实测数据。
-
-
T terry 于 将此主题固定
-
-
@kos-or 因為強工作時我見風道比較細的卡都上到 80C 左右, 所以我便放一放風扇上去加大風流量. 是有用的, 最高溫度明顯比之前低 3-5C
@franklee006 你这个我认得， F9 R120 暴力风扇！ 非常非常猛啊
-
感谢论坛各位大神，分享下我目前的两台 AI 算力机配置，暂时都主要跑 LLM。【机1：开放式 X99 四卡机】
硬件 / 型号规格 / 备注
机箱：开放式 X99 机箱
CPU：Intel Xeon E5-2666 v3（LGA2011-3，多卡机 CPU 很关键）
主板：华南金牌 X99-TF
内存：DDR3 1600 32G × 4 = 128G
硬盘：256G SATA SSD（旧电脑拆下来的）
电源：长城 1650W
显卡 1-2：RTX 3080 20G × 2（京东买）
显卡 3-4：RTX 3090 24G × 2（一张是弟弟送的三风扇卡，另买了 NVLink + Turbo 卡）PCIe 接法（重点）：
- 所有卡都用 PCIe 延长线接
- 2×3080：走主板原生 PCIe 3.0 x16
- 2×3090：因为要上 NVLink，一张走 M.2 转 PCIe x16，另一张走 x4 转 x16
- 3090 是三风扇卡，NVLink 桥接时一高一低，3D 打印了个小支架顶平就解决了
【机2：EYPC H12-8D 整机】
硬件 / 型号规格 / 备注
整机：EYPC H12-8D（淘宝买的整机）
内存：128G DDR4
显卡 1-2：RTX 4080S 32G × 2（整机自带）
显卡 3-4：RX 7900 XTX × 2（后来自行加装）
电源：自行加装（配合 4 卡）目前两台都主要用来跑 LLM，后续有实测数据再补充。欢迎讨论。
@franklee006 这是多少人同时用啊？
-
@franklee006 你这个我认得， F9 R120 暴力风扇！ 非常非常猛啊
@johnnybegood 不知道呀, 我便意在JD 買的
-
@franklee006 这是多少人同时用啊？
-
@johnnybegood 我一個, 不過我會用比較多 sub agent 做牛馬收集資料
@franklee006 只是收集资料的话， 难道不是多开一些在线API更合适？
-
@franklee006 只是收集资料的话， 难道不是多开一些在线API更合适？
@johnnybegood 反正我有算力, 哪肯定用自己用. API 要付錢 lol 而且有了算力個人資料不用上傳, 很多文書工作也可以叫 agent 做了
-
-
@koala 除了哪 3090 其他不大, 因為都只是風扇
-
大佬，第二台机器详述一下，外面那两个7900XTX电源咋办，外接电源嘛。实际效果咋样。坐等测试数据
-
系统 于 取消固定此主题
-
老哥3080買那一家的, 近期想入手一張
