目前证明x99这张可以跑tp来着，接下来就是把我的显卡打个架子放放好～

# 启动服务
python -m sglang.launch_server \
  --model-path $MODEL_PATH \
  --host 0.0.0.0 \
  --port 8080 \
  --served-model-name qwen3.8-27b \
  --tp-size 2 \
  --quantization gptq \
  --dtype bfloat16 \
  --mamba-ssm-dtype bfloat16 \
  --kv-cache-dtype bfloat16 \
  --attention-backend triton \
  --context-length 196608 \
  --mem-fraction-static 0.90 \
  --max-running-requests 4 \
  --max-mamba-cache-size 20 \
  --cuda-graph-bs-decode 1 2 4 \
  --triton-attention-num-kv-splits 16 \
  --chunked-prefill-size 2048 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder \
  --default-chat-template-kwargs "$THINKING_CONFIG" \
  --speculative-algorithm dflash \
  --speculative-draft-model-path $DRAFT_MODEL_PATH \
  --speculative-draft-model-quantization compressed-tensors \
  --speculative-num-draft-tokens 8 \
  --speculative-draft-window-size 2048 \
  --sleep-on-idle

当前运行状态

模型: Qwen3.8-27B-W4A16-AutoRound-GPTQ
草稿模型: Qwen3.8-27B-DFlash2-W4A16
张量并行: TP=2
显存使用: GPU0 98%, GPU1 98%
温度: GPU0 63°C, GPU1 54°C
功耗: GPU0 210W, GPU1 213W
思考模式: low (1024 tokens)
推测解码: DFlash2 (8 draft tokens)

操作系统 Ubuntu 24.04.5 LTS (Noble Numbat)

硬件配置：
双卡 RX 7900 XTX (24GB x 2)
1250W 电源稳定运行
X99 平台，Above 4G Decoding 必须开启

软件栈：
ROCm 7.2.4 + PyTorch 2.13.0
SGLang gfx1100-support 分支
DFlash2 推测解码（提速 ~70%）

0 2 0x744c, 45251 66.0°C 203.0W N/A, N/A, 0 32Mhz 96Mhz 14.9% auto 0.0W 99% 0%
1 3 0x744c, 9479 56.0°C 215.0W N/A, N/A, 0 0Mhz 96Mhz 0% auto 0.0W 98% 0%

• 拆分卡（bifurcation）：靠主板/CPU 支持 PCIe bifurcation，把 x16 电气拆成 x8+x8 或 x4×4，卡上只是走线、没有芯片。X99 平台支持很有限，要看具体插槽和 BIOS。
• PCIe 交换卡（PLX/PEX 芯片）：卡上自带 switch，不依赖主板拆分，上游一个 x16 可扇出多个 x8/x16，带宽共享。代价是贵、加延迟，很多老 switch 只到 PCIe 3.0。
• 外置走线：OCuLink（x4/x8）、SlimSAS（x8）、MCIO 都是把 PCIe 引出机箱的方案，线材和转接会再吃掉信号余量，长线不一定稳。

给浔雨：显卡竖装加自己弯线比上交换卡便宜，先把双卡跑起来；真要外置，单卡推理 x8 够用，只有跑 TP/多卡 P2P 时才需要在意根桥白名单和交换拓扑。

對, 一條線有 x8 , 一張GPU接一條線就 PCIe 4/5 x 8 , 一張GPU 接兩條就 PCIe 4/5 x 16
我遇到一樣的問題 可能要走 eGPU

方案一 ：我大概選這個方案 速度可以維持 x 16, 也能彈性調整成 2 GPUs x 8

少一個安裝支架 這個底盤大一點 或許可行 , 看能不能找到更大一點裝GPU 更穩 甚至裝兩顆GPUs

方案二 ：

方案三 ：

@浔雨 said:

下午在尝试先把2张显卡放机箱外面

讓我想起這個網友的箱外配置