我是用舊主機板 ASUS H97-Pro 來跑 llama.cpp 的雙卡 RX 9060 XT 配置。
因為 H97-Pro 的 PCIe 插槽規格限制：
- 第一槽：PCIe 3.0 x16（直連 CPU）
- 第二槽：PCIe 3.0 x4（走 PCH 南橋晶片）
在 Ubuntu 環境下實測過 ROCm（ROCm 10 / 7.14）與 Vulkan：
- Prefill (PP) 速度：ROCm 表現遠優於 Vulkan。
- 心得：在搭配 Agent 時，Prefill (PP) 的處理速度甚至比 Text Generation (TG) 還要關鍵！
- 上下文與 VRAM 實測狀況目前雙卡配置下，穩定運作的極限是 176K Context Length（KV Cache 設為 Q8）。如果開到 192K，VRAM 就會壓在臨界點附近偶爾會crash。
- 因為是個人使用，大部分時間 np=1 ；但如果要分派 Sub-agent 執行任務，會需要設定 np=2。不過這也差不多是這套配置的極限了，上下文再縮短實用性就不高。
SGLang 與 TP/PP 傳輸測試：
前兩天請 DeepSeek 協助安裝 SGLang，過程中同樣對 RCCL 與 P2P 進行了各項功能測試。最後也是打了類似的 Patch——否則 SGLang 的程式邏輯會判斷無法通訊，連CPU DMA都不走直接放棄。
但即使打了 Patch，走 CPU AllReduce 的效能跟 llama.cpp 的 Tensor Parallel (TP) mode 差不多，速度都遠慢於 Pipeline Parallel (PP) mode，基本上沒有實用價值。加上 SGLang 本身吃 VRAM 比 llama.cpp 更兇，能開的上下文反而更短。
總結：
- 建議走南橋的 PCIe 介面，最佳解依然是 PP (Pipeline Parallel) 分層模式。實測下來，PP 模式的 Prefill 速度甚至略微超越單張 R9700；不過 TG 速度就單卡水準，大概只有 R9700 的一半。
- 硬體升級思考：如果主機板本身支援 雙 PCIe x8/x8，且手邊已經有一張 9060 XT，再補一張二手跑 Tensor Parallel，整體性能應該有機會逼近 R9700。但算一算升級預算，如果手頭預算許可，直接買一張二手 RX 7900 XTX 可能是更乾淨俐落的選擇——畢竟 384-bit 帶來約 960 GB/s 的記憶體頻寬，在純單卡運算上優勢還是太明顯了，且雙卡在記憶體分配上會有尾巴浪費的零散區塊（我一張有接顯示輸出會佔用VRAM）。