小白篇 : 雙卡AI 算力系統 基本配置
-
-
個人自己選擇低預算搭配~也蠻有CP值
AMD EPYC 7R32
DDR4 3200 ECC REG 16GB*8
華南的MB:H12D-8D PCI-E
4組 PCI-E 4.0 16X<<<讓選卡很彈性
題外話~前天買到2張 3090 其中一張搭配5090使用 讓3.8 27B-INT(NINFER)4併發共用128KV
3090 24GB 放入27B-VL視覺模型與輔助27B(N)/120B/284B 等3個模型
GPT的120B則純用CPU+RAM跑
等2張4090 48GB到貨再來試試看共用成96GB好不好用^^"
-
7R13咋样，米兰，看起来价格比7R32要便宜，单路的话
@Capri Swicord 单路的话 7R13 基本是 7R32 的升级款，能上就上，前提是主板 BIOS 认。
两者都是 48C/96T、8 通道 DDR4-3200、128 条 PCIe 4.0，插 4 张卡或走 x8/x8 的通道预算一样。差别在：
- 7R13 是 Milan（Zen3）：L3 更大（256MB）、加速频率更高（3.7GHz vs 3.3GHz）、TDP 更低（约 225W vs 280W），IPC 大约高 15%；
- 7R32 是 Rome（Zen2）：192MB L3、280W。纯推理 4 卡时 CPU 不是瓶颈，7R32 完全够。
要留意的坑：
- 7R13 是 OEM 盘，确认不是 ES/QS 工程样品、没被锁；
- 主板要支持 Milan 的 AGESA。华南 H12D-8D 通常可以，但老 BIOS 可能只认 Rome，先刷最新 BIOS 再上；
- 单路 8 条 DDR4-3200 就是约 204.8GB/s，换 U 不提升带宽，别指望这一点。
价差不大选 7R13，便宜很多才拿 7R32；带两张 3090 两个都绰绰有余。
-
7R13咋样，米兰，看起来价格比7R32要便宜，单路的话
@Capri-Swicord 是丫^^"
其實EPYC說一點不累!
它說 :So Easy 反正全核心跑跟16-32核心跑起來一樣慢~"~
我剛接觸AI 不知道卡怎麼買~
所以先買了5090水夜神~接著AMD 5800X+64GB RAM很久沒升級~
我就買了7B12+H12D-8D+256GB DDR2400 ECC~
順便測試一下120-284B的模型全部用CPU+RAM跑看看~可謂舉步維艱~"~
偶然發現5090跑27B(N)速度飛快!以為水夜神是真神!!於是又請AI改腳本~每個模型都獨佔5090跑看看!
速度飛耀了!從原本1-2 TOK/S變成3-4 TOK/S 284B從7變成15 TOK /S
後來訂了4090 gb 兩張打算回來取代cpu (gpu以外皆是螻蟻)
前2天聽到3090 nvlink cp值很高 有3樓那麼高!!!就買了2張...但...nvlink~卡貴毛多~"~
如自然攝影大師雷雨說的:人生的意義在於折騰!!!
曾經問ai直接買 50萬的rtx pro 6000 96gb 跟買31萬的4090 48gb *2哪個划算?!
ai說絕對是4090 48gb*2
或許7812+4090*+3090*2 水夜神給5800x才是我的最佳組合
以上是結丹的過程~~"
題外話~
以下是luna 高推理弄的[模型：GPT-5（第五代模型）] [時間：2026-09-19 03:14:20（台北時間）] 已完成重寫並儲存，目前配置已通過檢查，沒有重啟任何模型。
- 目前配置啟動與檢查腳本（DSH，本地模型服務）
- 目前配置啟動批次檔（BAT，批次啟動檔）
固定內容： - 284B：3090、32核心、512k、3層專家層
- 27B-N：5090、4路共用128k
- 27B-VL：3090、2層、32k
- 120B：純CPU、16核心、128k
- CODEX（程式介面）轉接：8090
檢查結果：8083、8090、11438、11452、11453全部在線。
批次檔只會啟動缺少的服務，不會停止或強制重啟正在使用的模型。
-
補幾條給新手的硬約束，免得裝完才踩：
顯存：多卡不等於顯存疊加。llama.cpp 是分層切（一層只落一張卡），ComfyUI/SD 基本用不滿雙卡；別按 24G×2=48G 規劃模型。
記憶體：LLM 想跑 27B Q4 以上，系統記憶體別按 32G 配，64G 起；要靠 CPU+RAM 跑 120B+ 的，直接 128–256G。
主板：x8/x8 是底線，但還要看兩條 x16 槽間距（雙槽卡至少隔 3 槽，否則貼死）；消費級 AM5 只有 24 條 lane，插滿後 M.2/USB 會降速。要雙 x16 得上 TRX50/WRX90/EPYC/Xeon W。
電源：按顯卡 TDP 之和 ×1.5 留瞬態（2×3090 至少 1000–1300W，ATX 3.1），每卡獨立 8pin 線，別用一根 daisy-chain 串兩卡。
散熱/機箱：雙卡風冷必須前下進、後上出；渦輪或水冷比兩張 Open-Air 對吸靠譜；先量機箱限長和槽位。
平台：伺服器退役平台（Rome/Milan、X99）便宜，但注意 BIOS/AGESA、ECC REG 相容和 x8/x8 支援；卡盡量同代同顯存顆粒，混插容易鎖頻。 -
@Capri-Swicord 是丫^^"
其實EPYC說一點不累!
它說 :So Easy 反正全核心跑跟16-32核心跑起來一樣慢~"~
我剛接觸AI 不知道卡怎麼買~
所以先買了5090水夜神~接著AMD 5800X+64GB RAM很久沒升級~
我就買了7B12+H12D-8D+256GB DDR2400 ECC~
順便測試一下120-284B的模型全部用CPU+RAM跑看看~可謂舉步維艱~"~
偶然發現5090跑27B(N)速度飛快!以為水夜神是真神!!於是又請AI改腳本~每個模型都獨佔5090跑看看!
速度飛耀了!從原本1-2 TOK/S變成3-4 TOK/S 284B從7變成15 TOK /S
後來訂了4090 gb 兩張打算回來取代cpu (gpu以外皆是螻蟻)
前2天聽到3090 nvlink cp值很高 有3樓那麼高!!!就買了2張...但...nvlink~卡貴毛多~"~
如自然攝影大師雷雨說的:人生的意義在於折騰!!!
曾經問ai直接買 50萬的rtx pro 6000 96gb 跟買31萬的4090 48gb *2哪個划算?!
ai說絕對是4090 48gb*2
或許7812+4090*+3090*2 水夜神給5800x才是我的最佳組合
以上是結丹的過程~~"
題外話~
以下是luna 高推理弄的[模型：GPT-5（第五代模型）] [時間：2026-09-19 03:14:20（台北時間）] 已完成重寫並儲存，目前配置已通過檢查，沒有重啟任何模型。
- 目前配置啟動與檢查腳本（DSH，本地模型服務）
- 目前配置啟動批次檔（BAT，批次啟動檔）
固定內容： - 284B：3090、32核心、512k、3層專家層
- 27B-N：5090、4路共用128k
- 27B-VL：3090、2層、32k
- 120B：純CPU、16核心、128k
- CODEX（程式介面）轉接：8090
檢查結果：8083、8090、11438、11452、11453全部在線。
批次檔只會啟動缺少的服務，不會停止或強制重啟正在使用的模型。
-
-
-
冷氣超強壓制 哈
