P2P 如何建立（安裝流程）

以下為本機 2026-09-20 實裝軌跡，非理論步驟。來源：aikitoria/open-gpu-kernel-modules（branch 615.71.09-p2p，fork 自 tinygrad 的 P2P patch）。
同代雙卡（我們的 5090×2）只需 patch 後的 kernel module，不需 patch libcuda；跨代（如 3090+5090）才需 patch-libcuda-p2p.py。

前置條件（缺一不可）

️ 刷 BIOS 安全警告：更新後 Secure Boot 會被重置為 Enable，刷完重進 BIOS 必改回 Disable；Windows 機刷前先確認 BitLocker 狀態（變更 UEFI 可能觸發 recovery key 鎖機）。

安裝步驟

# 0) 備份現況
nvidia-smi --query-gpu=driver_version --format=csv > /root/driver-before-$(date +%F).txt
sudo cp /etc/default/grub /etc/default/grub.bak.$(date +%F)

# 1) 卸掉舊驅動（595.91.07）
#    dpkg pattern 用 nvidia.*-595（中間有 -，舊寫法 ^(prefix)595 會抓到 0 個）
#    只碰 driver 套件，不碰 CUDA toolkit

# 2) 裝 615.71.09 userspace（.run)
#    ⚠️ hermes gateway 會封鎖 self-extracting installer，腳本代執行會失敗
#    ⚠️ 615.71.09 已把 --no-opengl-libs 換名成 --no-opengl-files（照舊參數會 unrecognized option）
sudo ~/NVIDIA-Linux-x86_64-615.71.09.run --silent --no-kernel-modules --no-opengl-files --no-x-check --no-nouveau-check

# 3) 抓 patch 源 + 編譯 kernel module
git clone https://github.com/aikitoria/open-gpu-kernel-modules
cd open-gpu-kernel-modules   # branch: 615.71.09-p2p
cd kernel-open
make clean && make -j$(nproc) && sudo make modules_install
# ⚠️ 卡關 4：若末行仍 "missing System.map. Skipping depmod"
sudo ln -sf /boot/System.map-$(uname -r) /lib/modules/$(uname -r)/System.map
sudo depmod -a

# 4) iommu=pt（GRUB 改完 update-grub）

# 5) 重開機（讓新 module + iommu=pt 生效）
sudo reboot

# 6) 驗證
nvidia-smi --query-gpu=driver_version --format=csv   # 應 615.71.09
nvidia-smi topo -p2p r                                 # 應 GPU0<->GPU1 = OK（非 CNS）
./p2pBandwidthLatencyTest                              # 或自編 cudaMemcpy P2P test，看頻寬

真正會卡關的 6 個點（本機實測踩到）

.ko 實際路徑坑：本 repo 把 .ko 裝到 /lib/modules/$(KVER)/kernel/drivers/video/（非 updates/ 或 extra/），驗證腳本若硬查後兩者會 fail-closed 誤判失敗。

驗證結果（本機）

• nvidia-smi topo -p2p r：CNS → OK（雙向）
• P2P 頻寬實測：28.46 / 28.47 GB/s（自編 CUDA cudaMemcpy，128MB×10，NInfer 在 GPU0 跑著的真實負載下）≈ Gen5 x8 理論（~31.5）的 ~90%，比 CNS 走 host memory（~15-20 GB/s）翻倍
• 教訓：P2P 驗收不能只看 topo -p2p r = OK（driver 層回報），要實測頻寬；且測試要記下 NInfer 佔哪張卡、是否空閒，數據才可比
• 回退：nvidia-uninstall + 清未被 dpkg 管理的 .so + 還原 GRUB 備份 + 重裝 595.91.07（p2p-rollback.sh）

總結

一句話：P2P patch 解鎖雙卡 PCIe 直接互連，prefill 從 host bounce 瓶頸脫出；MTP 讓 decode 每步多驗證幾個 token，整體接近翻倍。兩者是獨立且互補的優化——P2P 管 prefill，MTP 管 decode。

可重現性與前置