新手求助｜X99-8D3双路+双7900XTX Z30机箱放不下双卡，外置显卡方案求推荐

[terry]

@浔雨 机箱扔掉，拼夕夕搜开放式机架，不到100，搭配显卡延长线很容易弄，XTX太大太厚，放机箱里很难。

[拐子001]

@浔雨 我用的是鸦无量的一个推荐方案，https://www.bilibili.com/video/BV1NH4y1L7qy/?spm_id_from=333.337.search-card.all.click&vd_source=a8e11777521567f7758e7934aa3c63d7 这个是视频地址，大概的意思就是OCuLink+SlimSAS显卡坞。

[拐子001]

这个主板的最下面2个pci是在一个cpu下的。离cpu最新的一条，和ssh的应该是一个cpu下的。

[williamlouis]

换主板是正解。
通过你的问题说明硬件你是新手。尽量用简单的组装方案最好。
重点：2个CPU 对 本地AI的算力没什么作用。单CPU就够了。这个双CPU方案没什么可取之处。

[浔雨]

@terry 感谢推荐！开放机箱因为家里有养猫猫毛乱飞所以用不起来。
下午在尝试先把2张显卡放机箱外面，然后尝试用蹩脚的小白建模能力建一个显卡架子，不过因为电源线长度原因，原本箱横着放的，结果得并列竖着放，下午白建模了，后面得重新建模，最后再封箱。
目前已经安装了ubuntu24，bios改了几个配置后双卡也能启动了。之前一度以为是电源功率不足启动的问题，幸好还行。开始尝试部署大模型ing

[浔雨]

@拐子001 感谢推荐OCuLink+SlimSAS显卡坞方案，这个视频我去看了，看不大懂，额，水平有限，有好几个转换的名词是第一次听说，但是机箱真的很漂亮，我先继续折腾当前这套初始套装，上难度的后面有机会再试，谢谢！

[浔雨]

@拐子001 对的 BIOS中是在同一个cpu下面的，都在socket0的port 2a和port 3a下面

[浔雨]

@williamlouis 因为我第一次DIY组机会有遇到一定风险的觉悟，以及商家那买的的机箱、电源、硬盘这些都是新件退货对他们来说应该会有损害（虽然他们客服也有点不专业），尽量还是能用则用，所以还是感谢建议！

[Geekyang]

@浔雨 建议买单路主板加单路CPU 效果会好很多

[kos or]

@浔雨 said:

下午在尝试先把2张显卡放机箱外面

讓我想起這個網友的箱外配置

[williamlouis]

楼上这个折纸工艺有点意思

[terry]

@kos-or 这是在主板插一个桥接卡，自己拆分PCIE？

[kos or]

@terry

對, 一條線有 x8 , 一張GPU接一條線就 PCIe 4/5 x 8 , 一張GPU 接兩條就 PCIe 4/5 x 16
我遇到一樣的問題 可能要走 eGPU

方案一 ：我大概選這個方案 速度可以維持 x 16, 也能彈性調整成 2 GPUs x 8

少一個安裝支架 這個底盤大一點 或許可行 , 看能不能找到更大一點裝GPU 更穩 甚至裝兩顆GPUs

方案二 ：

方案三 ：

[Xiaote]

补一句区分两种东西，新手容易混：

• 拆分卡（bifurcation）：靠主板/CPU 支持 PCIe bifurcation，把 x16 电气拆成 x8+x8 或 x4×4，卡上只是走线、没有芯片。X99 平台支持很有限，要看具体插槽和 BIOS。
• PCIe 交换卡（PLX/PEX 芯片）：卡上自带 switch，不依赖主板拆分，上游一个 x16 可扇出多个 x8/x16，带宽共享。代价是贵、加延迟，很多老 switch 只到 PCIe 3.0。
• 外置走线：OCuLink（x4/x8）、SlimSAS（x8）、MCIO 都是把 PCIe 引出机箱的方案，线材和转接会再吃掉信号余量，长线不一定稳。

给浔雨：显卡竖装加自己弯线比上交换卡便宜，先把双卡跑起来；真要外置，单卡推理 x8 够用，只有跑 TP/多卡 P2P 时才需要在意根桥白名单和交换拓扑。

[浔雨]

终于基于之前的硬件配置成功跑起来了，和之前win11下面单张24g的llama.cpp的速度和并发相比简直是质的飞跃。
感谢@terry @flyer666 还有帖子中的各位朋友的帮助!

目前证明x99这张可以跑tp来着，接下来就是把我的显卡打个架子放放好～

# 启动服务
python -m sglang.launch_server \
  --model-path $MODEL_PATH \
  --host 0.0.0.0 \
  --port 8080 \
  --served-model-name qwen3.8-27b \
  --tp-size 2 \
  --quantization gptq \
  --dtype bfloat16 \
  --mamba-ssm-dtype bfloat16 \
  --kv-cache-dtype bfloat16 \
  --attention-backend triton \
  --context-length 196608 \
  --mem-fraction-static 0.90 \
  --max-running-requests 4 \
  --max-mamba-cache-size 20 \
  --cuda-graph-bs-decode 1 2 4 \
  --triton-attention-num-kv-splits 16 \
  --chunked-prefill-size 2048 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder \
  --default-chat-template-kwargs "$THINKING_CONFIG" \
  --speculative-algorithm dflash \
  --speculative-draft-model-path $DRAFT_MODEL_PATH \
  --speculative-draft-model-quantization compressed-tensors \
  --speculative-num-draft-tokens 8 \
  --speculative-draft-window-size 2048 \
  --sleep-on-idle

当前运行状态

模型: Qwen3.8-27B-W4A16-AutoRound-GPTQ
草稿模型: Qwen3.8-27B-DFlash2-W4A16
张量并行: TP=2
显存使用: GPU0 98%, GPU1 98%
温度: GPU0 63°C, GPU1 54°C
功耗: GPU0 210W, GPU1 213W
思考模式: low (1024 tokens)
推测解码: DFlash2 (8 draft tokens)

操作系统 Ubuntu 24.04.5 LTS (Noble Numbat)

硬件配置：
双卡 RX 7900 XTX (24GB x 2)
1250W 电源稳定运行
X99 平台，Above 4G Decoding 必须开启

软件栈：
ROCm 7.2.4 + PyTorch 2.13.0
SGLang gfx1100-support 分支
DFlash2 推测解码（提速 ~70%）

0 2 0x744c, 45251 66.0°C 203.0W N/A, N/A, 0 32Mhz 96Mhz 14.9% auto 0.0W 99% 0%
1 3 0x744c, 9479 56.0°C 215.0W N/A, N/A, 0 0Mhz 96Mhz 0% auto 0.0W 98% 0%

[浔雨]

对了 之前好像还看到哪个帖子提及说内存再大点可以cpu跑模型来着？是不是我还可以利用利用cpu再跑个识别图片的小模型，要不要再买128g内存？有提升的必要吗