@李喆 said:

等4090 48GB兩張到貨測試完

4090 Bandwidth 1.01 TB/s, 用兩張雙卡 TP/PP 把效能催上去
等待你的雙卡效能分享 ！

台積電的外包商有可能~

台積電的工程師忙著賣肝!應該只能吃飯睡覺尿尿而已~

等4090 48GB兩張到貨測試完~或許雲端大模型才是我最佳解方~"~

先來去買一包乖乖鎮壓鎮壓@@"

@李喆 said:

或許7812+4090*+3090*2 水夜神給5800x才是我的最佳組合

這台的算力供給或許大於你的需求, 但我猜應該會有台積電的工程師買來自用跑本地模型
NVIDIA DGX Station GB300
一致性記憶體 合計 748GB：GPU 端 252GB HBM3e（頻寬 7.1 TB/s）＋ CPU 端 496GB LPDDR5X（頻寬 396 GB/s），透過 NVLink-C2C（900 GB/s）互連

如果用來炒股票, 分析市場, 或許值得

顯存：多卡不等於顯存疊加。llama.cpp 是分層切（一層只落一張卡），ComfyUI/SD 基本用不滿雙卡；別按 24G×2=48G 規劃模型。
記憶體：LLM 想跑 27B Q4 以上，系統記憶體別按 32G 配，64G 起；要靠 CPU+RAM 跑 120B+ 的，直接 128–256G。
主板：x8/x8 是底線，但還要看兩條 x16 槽間距（雙槽卡至少隔 3 槽，否則貼死）；消費級 AM5 只有 24 條 lane，插滿後 M.2/USB 會降速。要雙 x16 得上 TRX50/WRX90/EPYC/Xeon W。
電源：按顯卡 TDP 之和 ×1.5 留瞬態（2×3090 至少 1000–1300W，ATX 3.1），每卡獨立 8pin 線，別用一根 daisy-chain 串兩卡。
散熱/機箱：雙卡風冷必須前下進、後上出；渦輪或水冷比兩張 Open-Air 對吸靠譜；先量機箱限長和槽位。
平台：伺服器退役平台（Rome/Milan、X99）便宜，但注意 BIOS/AGESA、ECC REG 相容和 x8/x8 支援；卡盡量同代同顯存顆粒，混插容易鎖頻。

其實EPYC說一點不累!

它說 :So Easy 反正全核心跑跟16-32核心跑起來一樣慢~"~

我剛接觸AI 不知道卡怎麼買~

所以先買了5090水夜神~接著AMD 5800X+64GB RAM很久沒升級~

我就買了7B12+H12D-8D+256GB DDR2400 ECC~

順便測試一下120-284B的模型全部用CPU+RAM跑看看~可謂舉步維艱~"~

偶然發現5090跑27B(N)速度飛快!以為水夜神是真神!!於是又請AI改腳本~每個模型都獨佔5090跑看看!

速度飛耀了!從原本1-2 TOK/S變成3-4 TOK/S 284B從7變成15 TOK /S

後來訂了4090 gb 兩張打算回來取代cpu (gpu以外皆是螻蟻)

前2天聽到3090 nvlink cp值很高 有3樓那麼高!!!就買了2張...但...nvlink~卡貴毛多~"~

如自然攝影大師雷雨說的:人生的意義在於折騰!!!

曾經問ai直接買 50萬的rtx pro 6000 96gb 跟買31萬的4090 48gb *2哪個划算?!

ai說絕對是4090 48gb*2

或許7812+4090*+3090*2 水夜神給5800x才是我的最佳組合

以上是結丹的過程~~"

題外話~
以下是luna 高推理弄的

[模型：GPT-5（第五代模型）] [時間：2026-09-19 03:14:20（台北時間）] 已完成重寫並儲存，目前配置已通過檢查，沒有重啟任何模型。

• 目前配置啟動與檢查腳本（DSH，本地模型服務）
• 目前配置啟動批次檔（BAT，批次啟動檔）
  固定內容：
• 284B：3090、32核心、512k、3層專家層
• 27B-N：5090、4路共用128k
• 27B-VL：3090、2層、32k
• 120B：純CPU、16核心、128k
• CODEX（程式介面）轉接：8090
  檢查結果：8083、8090、11438、11452、11453全部在線。
  批次檔只會啟動缺少的服務，不會停止或強制重啟正在使用的模型。

两者都是 48C/96T、8 通道 DDR4-3200、128 条 PCIe 4.0，插 4 张卡或走 x8/x8 的通道预算一样。差别在：

• 7R13 是 Milan（Zen3）：L3 更大（256MB）、加速频率更高（3.7GHz vs 3.3GHz）、TDP 更低（约 225W vs 280W），IPC 大约高 15%；
• 7R32 是 Rome（Zen2）：192MB L3、280W。纯推理 4 卡时 CPU 不是瓶颈，7R32 完全够。

要留意的坑：

1. 7R13 是 OEM 盘，确认不是 ES/QS 工程样品、没被锁；
2. 主板要支持 Milan 的 AGESA。华南 H12D-8D 通常可以，但老 BIOS 可能只认 Rome，先刷最新 BIOS 再上；
3. 单路 8 条 DDR4-3200 就是约 204.8GB/s，换 U 不提升带宽，别指望这一点。

价差不大选 7R13，便宜很多才拿 7R32；带两张 3090 两个都绰绰有余。

@李喆 said:

AMD EPYC 7R32

EPYC 系列好像蠻甜的, Threadripper Pro 同性能 不便宜

GPT的120B則純用CPU+RAM跑

你這有虐待CPU的嫌疑 冷氣超強壓制 哈

AMD EPYC 7R32

DDR4 3200 ECC REG 16GB*8

華南的MB:H12D-8D PCI-E

4組 PCI-E 4.0 16X<<<讓選卡很彈性

題外話~前天買到2張 3090 其中一張搭配5090使用 讓3.8 27B-INT(NINFER)4併發共用128KV

3090 24GB 放入27B-VL視覺模型與輔助27B(N)/120B/284B 等3個模型

GPT的120B則純用CPU+RAM跑

等2張4090 48GB到貨再來試試看共用成96GB好不好用^^"

@imbiplaza-ASUS said:

3090 24g 吊打 blacwell 16gb全系

我用了24G 的VRAM 才體會了舒適度，
16G 玩得太侷限了 每次跑都要 2GPUs
但優點是溫度低 65度以下