一、硬件

• CPU：Xeon E5-2666 v3（10C20T，Haswell-EX，AWS 拆機洋垃圾）。跑推理完全夠：prefill 時 CPU 佔用好低，瓶頸全喺卡
• 主板：X99 TF（消費級魔改板，BIOS 冇 Above-4G Decoding / Resizable BAR 選項 — 呢點後面好關鍵）。兩條 PCIe 3.0 x16 都係 CPU 直連 root port（lspci -t 實測：GPU0 @03:00 掛 00:02.0、GPU1 @04:00 掛 00:03.0，中間唔經晶片組），nvidia-smi topo -m 顯示 PHB
• 62GB DDR3、190G SSD、Ubuntu 24.04.5（kernel 7.0.0-31）
• 雙 RTX 3080 20G 魔改卡（lspci subsystem 實確認 20GB）

二、X99 平台 P2P 真相（完整驗證鏈，今次分享重點）

好多人講 X99 雙卡 P2P，我由頭到尾驗證一次：

1. 補丁前：nvidia-smi topo -p2p r = CNS（GeForce 驅動封鎖，正常）
2. 裝社群 P2P fork：aikitoria/open-gpu-kernel-modules（branch 615.71.09-p2p）+ 對應 615.71.09 userspace（.run --no-kernel-modules）+ GRUB 加 intel_iommu=on iommu=pt，清走舊 dkms module 後 depmod
3. 重啟後：topo -p2p r = OK 、cudaDeviceCanAccessPeer 雙向 TRUE 、P2P Clique [0 1]
4. 但 cudaDeviceEnablePeerAccess = 失敗「mapping of buffer object failed」
5. 根因：nvidia-smi -q 實測 BAR1 只有 256 MiB — X99 BIOS 無 Above-4G/ReBAR，peer mapping 開唔到
6. cudaMemcpyPeerAsync 256MB 實測 6.0 GB/s，同經 host 中轉一模一樣（PCIe 3.0 x16 去返 root complex）

結論：呢個補丁喺 X99 上驅動層全部生效，但主板韌體無 ReBAR 就係唔work。瓶頸喺板唔喺驅動 — 同版上 Nero丶畅畅 前輩 X99 混插 3090+4090 測到 P2P false 嘅結論一致。想真 P2P 要換有 ReBAR 嘅平台。

意外收穫：轉用 615.71.09（.run）之後同一個 sharegpt benchmark 由 125.8 升到 166.2 tok/s（+32%），純驅動增益（實際傳輸仍係 SHM）。

三、軟件棧（踩坑記）

• pip 版 CUDA 工具鏈版本參差係最大坑：nvcc 13.4 配 13.0 headers（CCCL 直接 #error），cicc 13.4 配 ptxas 13.0（PTX .version 9.4 爆炸）。解法：pip install nvidia-cuda-nvcc==13.0.88 nvidia-cuda-crt==13.0.88 nvidia-nvvm==13.0.88 統一對齊，加 ln -s lib lib64（JIT link 揾 -lcudart 用）同 CUDA_PATH=site-packages/nvidia/cu13
• SGLang：kk-pcl 嘅 sglang-qwen38-dual-3080-patch（釘 commit 4cb5aebfe）。三個改動：DFlash2 fc.weight TP 分片、主模型 16 層 per-head FP8 KV scales、SM90 以下停 symm-mem logits gather（Ampere 防炸）。離線測試全過
• 桌面環境食 GPU0 ~80MB：mem-fraction 0.90 會喺 warmup 撞 OOM，要用 0.88
• 千祈唔好 runtime 停 gdm 慳嗰 80MB — 我試過 NVIDIA driver kernel panic 成機重啟。想慳應該 systemctl set-default multi-user.target 之後重啟

四、模型同生產配置

主模型 cyankiwi/Qwen3.8-27B-AWQ-INT4（20G）+ draft syvai/Qwen3.8-27B-DFlash2-W4A16。啟動重點：

sglang serve --model-path ~/models/Qwen3.8-27B-AWQ --tp-size 2 \
  --quantization compressed-tensors --kv-cache-dtype fp8_e4m3 \
  --quantization-param-path scales/qwen38-fp8-kv-scales-per-head.json \
  --speculative-algorithm DFLASH --speculative-draft-model-path ~/models/Qwen3.8-27B-DFlash2-W4A16 \
  --speculative-draft-kv-cache-dtype fp8_e4m3 --speculative-num-draft-tokens 8 \
  --context-length 200000 --max-total-tokens 185000 \
  --max-running-requests 4 --cuda-graph-max-bs-decode 4 \
  --mem-fraction-static 0.88 --mamba-ssm-dtype bfloat16 \
  --mamba-radix-cache-strategy extra_buffer_lazy --disable-custom-all-reduce \
  --enable-hierarchical-cache --hicache-ratio 2 --hicache-size 15 \
  --hicache-io-backend direct --hicache-mem-layout page_first_direct \
  --hicache-write-policy write_through --page-size 64 \
  --default-chat-template-kwargs '{"reasoning_effort": "medium"}'

VRAM 分佈（每卡）：權重 9.7G（48%）／Mamba 池 2.2G／主 KV 池 FP8 2.8G（185K tokens）／draft KV 0.88G／CUDA graph 1.4G。HiCache host 層：主 KV 578K tokens（9.5G）+ draft 2.96G + mamba 5.5G，GPU:主機 ≈ 1:3。

五、Benchmark（temp 0.6、自然中文、輸出 512 token、伺服器端 gen throughput）

Prefill 聚合 ~1,030–1,370 tok/s（同併發無關）：

• 單流 TTFT：1K 0.8s／8K 5.6s／32K 23s／64K 50s／100K 85s
• 4 併發 32K：106s（排隊線性）

Decode 對上下文長度極唔敏感（混合 Mamba 架構嘅甜點）：

• 單流：1K ~70／8K ~58／32K ~57／64K ~55／100K 仲有 ~65（峰 71）tok/s
• 2 併發合計 105–160；4 併發合計 131–159（每人 33–40）
• DFlash：自然中文 accept 2.1–2.4；關 DFlash 單流得 59.7 → +110%

HiCache（agent 場景殺手鐧）：

• 23K prompt：冷 17.9s → 暖 0.23s（77×）
• 迫爆 GPU 池（5×46K=230K>185K）之後重發最舊嗰條：0.29s 由 host 層還原（130×）
• 總需求 840K > GPU+host 795K 先會真 LRU 逐出 — 三層行為全部符合預期

同自己上篇雙 7900XTX 對比：decode 70 vs 78（XTX +10%）、32K prefill 1,280 vs 1,477（XTX +15%）— 兩邊好接近，但 X99+3080 全套成本平一個位。

六、陷阱清單

1. --max-total-tokens 唔好釘 200K：填滿 budget 後 Mamba 池冇鬆位，兩條 32K 同時 prefill 會 Can not alloc mamba cache assert 直接殺 scheduler。185K 穩定
2. MRR=2 + 雙長文同時 prefill 會炸、MRR=4 反而唔會（怪但實測；而家默認 4）
3. DFlash 量測陷阱：投機解碼每步爆發式輸出 2.1–2.4 token，數串流 ITL 計速度會錯到阿媽都唔認得；用 usage token 數/時間或者伺服器 gen throughput。另外 accept 同內容有關：亂碼 benchmark 3.4–3.9、自然中文 2.1–2.4
4. FP8 KV scales 係靜態校準（per-head，TP=2 專用），唔好套去第個模型/TP
5. X99 想玩 P2P 嘅省返：驗證鏈喺第二節，BAR1 256MB 一票否決

七、值唔值得玩？

511–800 蚊板U + 舊 DDR3 + 兩張 3080 20G 魔改：27B AWQ + DFlash2 單流 70 tok/s 互動好順、prefill 1,300 對 RAG/長文問答夠用、HiCache 對 agent 多輪場景價值爆錶（200× 還原）。諗住升級：CPU 換 E5-2690 v3 意義唔大（推理 CPU 唔係瓶頸），RAM 加到 128G（DDR3 好平）畀 HiCache host 層翻倍反而最實際。