PVE HomeLab ( R9700x2+3090) 極限方案

[sarcoma]

学习中，我一直想pve直通AMD卡，之前折腾过好久都不行。

[CS6]

@sarcoma 卡在哪邊啊？ 如果不是硬體問題的話，現在的版本我感覺沒啥難度。 真的不行你讓AI幫你處理一下。

[sarcoma]

之前也可能是显卡的问题，那会儿想通VEGA 56，，怎么都不行，各种黑屏、各种兼容性报错，什么reset bug，不管windows、ubuntu都不行。弄了好几次，弄的我都残了，后来就有心理阴影了，直通只敢通NVIDIA，方便很多。我现在的7900 XTX只敢跑着裸机Ubuntu，不敢PVE上直通了，虽然很想。

看着你的帖子，我又重燃斗志，

[terry]

牛逼，重在实践，过几天忙完了认真拜读下。

[566656661]

敲碗等Vulkan混合雙卡

不過有點手癢先買R9700然後把4500 Pro混合給5090用, 不過64GB附近也沒有什麽模型比27B好打就是了

[terry]

@566656661 尝试一下，或许效果很好，两张卡架构一样。

[CS6]

@566656661 可以跑，但沒想法ＸＤ 來個方案我測測

[566656661]

@terry

估計要用llama.cpp, vllm的話4500應該會拖5090D後腿

[566656661]

@CS6

這個參考一下

https://lcz.me/topic/398/論-a10g-3090-底下的gemma-4跟qwen-3.6測試心得/9?_=1783091964364

[fcme]

@sarcoma 现在直接在另外的电脑上装一个agent，然后用agent搞定，很容易的

[fcme]

@CS6 说:

PVE HomeLab ( R9700x2+3090) 極限方案

這一邊是基於前一篇分享 https://lcz.me/post/4772

項目	舊	新
GPU	1× R9700（+ RTX 3090）	**2× R9700 + 1× RTX 3090 **
記憶體	64GB（2×32GB Kingston）	96GB（2×48GB Crucial/Micron DDR5-5600），4 槽用 2 槽，可擴 192GB
額外儲存	—	新增 WD 500GB SATA SSD
VM 數量	100/101/103/104	再加 105 cuda-llm-lab**
GPU passthrough	單張輪流	三張獨立 mapping（雙 R9700 可各自分派給不同 VM）

硬體規格

項目	品牌	規格
主機板	ASUS	ProArt B850-CREATOR WIFI NEO
CPU	AMD	Ryzen 9 9950X3D，16C / 32T
記憶體	Crucial / Micron	DDR5-5600 96GB（48GB × 2，Part CP48G56C46U5.M16B1），4 槽用 2 槽
顯示卡 #1	ASUS	Radeon AI PRO R9700（Navi 48 / RDNA4，32GB），PCI 03:00
顯示卡 #2	PowerColor	Radeon AI PRO R9700（Navi 48 / RDNA4，32GB），PCI 07:00
顯示卡 #3	ZOTAC	GeForce RTX 3090（GA102，24GB），PCI 0a:00
內顯	AMD	Granite Ridge Radeon Graphics（iGPU），PCI 12:00
有線網路	Realtek	RTL8126 5GbE × 2
無線網路	Realtek	RTL8922AE Wi-Fi 7 / 802.11be
系統碟	Crucial	T500 NVMe SSD，2TB（CT2000T500SSD8）
媒體碟	Samsung	PM9A1 類 NVMe SSD，約 477GB（MZVL2512HDJD）
追加資料碟	WDC	WD Blue 500GB SATA SSD（WDS500G2B0A，ext4）
Windows 系統碟	Predator	GM9 NVMe SSD，約 1TB（NTFS，獨立 Windows 11，星際公民用）
CPU 散熱	DeepCool Digital	ASSASSIN IV VC VISION
機殼風扇	Noctua	12cm PWM / 14cm
電源	NZXT	1500W
機殼	Cooler Master	QUBE 540

3090的話是採用開源宇宙的 OCulink + ADT m.2 PCIE 連接器，

採購建議 :
| 開源宇宙的質感極差，文件相關的資訊也不清楚
| ADT 品質不錯，但如果你放在機殼裡面的話建議超過50公分會比較好處理，然後要注意方向

目前的配置全部都是靠風冷，採用貓頭鷹官方推薦的上下進出佈局，基本上溫度都可以壓在50到70之間，極少時候才能拉到80，外部顯卡反而散熱的問題很嚴重，所以在機殼側邊掛了一顆酷冷的12cm風扇直吹

PCIe 通道分拆與 8×8 顯卡策略

9950X3D（Granite Ridge / AM5）對外總共 28 條 PCIe 5.0 lane：24 條給裝置、4 條當晶片組上行。這台把 28 條全部用好用滿，實測從 CPU root port 拉出來的分配如下：

CPU root port	Lane（LnkCap）	掛什麼	協商速度 (LnkSta)	說明
00:01.1	x8	R9700 #1（ASUS，03:00）	Gen5 x8	顯卡通道前半
00:01.3	x8	R9700 #2（PowerColor，07:00）	Gen5 x8	顯卡通道後半
00:01.2	x4	Predator GM9 M.2（Windows 碟）	Gen5 x4	CPU 直連 M.2
00:02.2	x4	Crucial T500 M.2（PVE 系統碟）	Gen4 x4	CPU 直連 M.2
00:02.1	x4	→ B850 晶片組上行	Gen4 x4	底下再扇出一堆裝置

核心策略：把 CPU 的 16 條顯卡 lane 對半拆成 x8 + x8，兩張 R9700 各吃一半。
這是 AM5 平台想「兩張主力卡都直連 CPU」的唯一解——AM5 只有 16 條 PEG lane，要塞兩張就必須在 BIOS 開 PCIe bifurcation（x8/x8）。實測 00:01.1 與 00:01.3 的 LnkCap Width 都是 x8，證明分拆已生效。

每張 R9700 前面還掛著一顆 PCIe switch（1002:1478/1479）：上游對 CPU 是 x8，下游對 GPU die 是 x16，所以卡端 endpoint 讀到的是 Width x16，但真正的瓶頸帶寬是 CPU 側的 x8 Gen5（約 32 GB/s）。對 AI 推理來說完全夠——權重載入一次後就吃算力，不吃 host 頻寬。

第三張卡 RTX 3090 沒有 CPU lane 可用（16 條已被雙 R9700 佔滿），只能掛到 B850 晶片組那條 x4 Gen4 上行下面，和兩張 5GbE、Samsung PM9A1、Wi-Fi 7、USB、SATA 共享頻寬，因此協商成 x4。當遊戲 / CUDA 實驗卡用足夠，但別期待它有滿頻寬。

CPU 9950X3D — 28× PCIe 5.0 lanes
├── x8  Gen5 ── R9700 #1 (ASUS,       03:00) ┐
├── x8  Gen5 ── R9700 #2 (PowerColor, 07:00) ┘ ← 16 條顯卡 lane 拆成 8×8
├── x4  Gen5 ── Predator GM9 M.2  (Windows 碟)
├── x4  Gen4 ── Crucial T500 M.2  (PVE 系統碟)
└── x4  Gen4 ── B850 晶片組
                ├── RTX 3090 (0a:00, x4 downgraded)
                ├── RTL8126 5GbE ×2
                ├── Samsung PM9A1 NVMe (media)
                ├── RTL8922AE Wi-Fi 7
                └── USB / SATA

提醒：閒置時 link 會降到 2.5GT/s（ASPM 省電），例如 R9700 #2、RTX 3090 目前顯示 Gen1 x8/x4，這是正常降頻，跑推理 / 遊戲時會自動 train 回 Gen5 / Gen4。判斷「有沒有拆成 x8」要看 LnkCap Width，不是看即時 LnkSta Speed。

你如果要是有其他的机器用的话，可以考虑把这个装pve，然后显卡直通给虚拟机。如果两张显卡不协同工作的话，甚至可以分配个不同的虚拟机来做不同的事情，如果一个崩溃了，不至于影响所有服务，硬件不能解耦的话，用虚拟机解耦还是不错的选择。
你这个主板有点儿豪华，都能放进显存的时候，其实没有必要用这么豪华的板子。可以考虑一下戴尔的7820或者7920工作站，原生pcie lane就很多，如果用贵的PCIe5然后再拆分就没什么意义了，速度又变回pcie4了。

小小的建议。

[Dan Xia]

@sarcoma 建议考虑容器，可以直接映射，一张显卡映射给多个CT。我的llama.cpp、comfyui、musubi-tuner等都是各自一个独立容器，共用一张7900XTX，保证各自的环境都是干净的，出问题也不会影响其他东西。