新手求助|X99-8D3双路+双7900XTX Z30机箱放不下双卡,外置显卡方案求推荐
-
终于基于之前的硬件配置成功跑起来了,和之前win11下面单张24g的llama.cpp的速度和并发相比简直是质的飞跃。
感谢@terry @flyer666 还有帖子中的各位朋友的帮助!目前证明x99这张可以跑tp来着,接下来就是把我的显卡打个架子放放好~
# 启动服务 python -m sglang.launch_server \ --model-path $MODEL_PATH \ --host 0.0.0.0 \ --port 8080 \ --served-model-name qwen3.8-27b \ --tp-size 2 \ --quantization gptq \ --dtype bfloat16 \ --mamba-ssm-dtype bfloat16 \ --kv-cache-dtype bfloat16 \ --attention-backend triton \ --context-length 196608 \ --mem-fraction-static 0.90 \ --max-running-requests 4 \ --max-mamba-cache-size 20 \ --cuda-graph-bs-decode 1 2 4 \ --triton-attention-num-kv-splits 16 \ --chunked-prefill-size 2048 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder \ --default-chat-template-kwargs "$THINKING_CONFIG" \ --speculative-algorithm dflash \ --speculative-draft-model-path $DRAFT_MODEL_PATH \ --speculative-draft-model-quantization compressed-tensors \ --speculative-num-draft-tokens 8 \ --speculative-draft-window-size 2048 \ --sleep-on-idle当前运行状态
模型: Qwen3.8-27B-W4A16-AutoRound-GPTQ
草稿模型: Qwen3.8-27B-DFlash2-W4A16
张量并行: TP=2
显存使用: GPU0 98%, GPU1 98%
温度: GPU0 63°C, GPU1 54°C
功耗: GPU0 210W, GPU1 213W
思考模式: low (1024 tokens)
推测解码: DFlash2 (8 draft tokens)操作系统 Ubuntu 24.04.5 LTS (Noble Numbat)
硬件配置:
双卡 RX 7900 XTX (24GB x 2)
1250W 电源稳定运行
X99 平台,Above 4G Decoding 必须开启软件栈:
ROCm 7.2.4 + PyTorch 2.13.0
SGLang gfx1100-support 分支
DFlash2 推测解码(提速 ~70%)0 2 0x744c, 45251 66.0°C 203.0W N/A, N/A, 0 32Mhz 96Mhz 14.9% auto 0.0W 99% 0%
1 3 0x744c, 9479 56.0°C 215.0W N/A, N/A, 0 0Mhz 96Mhz 0% auto 0.0W 98% 0% -
-
-
這張藍寶石 7900 XTX 超白金 背板後半段是最熱的區域, TDP不限制手摸背板會很燙, 經過 TDP限制為305W後,
VRAM溫度 在一般情況下溫度約85-90度, 加風扇落在80度, 這張卡有三個溫度監控器, 可以請Agent幫你設定抓取顯卡溫度資料
要保護好顯卡
-
-
-
@浔雨 對了你 x99 8D3 主板是配了哪個cpu
-
@浔雨 對了你 x99 8D3 主板是配了哪個cpu
-
-
-
昨晚有了一个方向,应该是我买的延长线的问题 我不知道延长线是不能折弯的,商品详情里面也没有提及 所以我拧麻花了 导致传输一直报错 看了一下pcie的错误有1000多个 这是单卡加延长线的时候 直接插到主板上报错就是零个 所以我重新买了pcie4.0集束的延长线 向下兼容3.0 等到了我再试一下
延长线拧麻花基本可以实锤:PCIe 是差分对,折弯/拧绞会破坏 100Ω 差分阻抗和线对等长,误码直接表现为 AER 的 correctable/uncorrectable,1000+ 条很正常;直插 0 条说明卡和槽都没问题。
换线时注意:
- 标称要 PCIe 4.0 且是屏蔽差分对。3.0 的线跑 4.0 会降速或报错,"向下兼容 3.0" 只保证 3.0 能用,不代表 4.0 稳。
- 走线别折 90°、别和电源线捆一起,弯折半径留够;线越长越要考虑带 retimer 的版本。
- 外置场景 OCuLink/SlimSAS 比普通软排线稳,但成本高。
换上后验证:lspci -vv 看 LnkSta 的 speed/width 是否到 4.0 x16(或 x8),dmesg 里 grep -i aer 看还有没有新的 Correctable/Uncorrectable,跑一轮负载再看一遍。若换线后错误归零,问题就闭环了。
-
-
-
-
-
-
-
-
@Nero丶畅畅 好的 暂时先不用了 目前用的上个评论里贴的游梵这家的线,试了双卡跑了一个白天是稳定的 0个pcie错误。 商家说只要不对折就没事

因为当时买的一个30cm一个60cm 发现30cm的太短了,所以退了又换了个60cm的 还在路上。两条线450元左右。比转接卡方案便宜一些。
这两天先打了显卡支架的一部分,打算等线都到齐再配2个风扇 然后贴防尘网封箱。

9d74b52d181a8c0573e9639f26c0f42e.jpg
-



