如果現在已經有一張 7900xtx, 應該再配那一些卡?
-
-
应该添加多一张。。amd r9700pro 32gb
-
-
@hoyin258 先分清你要的是「更快」还是「更大/更多并发」,这决定加不加卡。
-
只跑 27B、单请求
加第二张 7900XTX 对单条 decode 帮助很小:TP=2 大约只把延迟降到 1.3–1.5 倍,PCIe 通信会吃掉一部分,而 7900XTX 的 decode 瓶颈是约 960GB/s 的显存带宽,不是算力。所以「想快一点」加同款卡,性价比不高。 -
想多并发 / 多 agent
加第二张 7900XTX 是最省的路:48G 显存 + SGLang/llama.cpp TP,两个并发会话基本接近线性。二手约 5900 是合理价。前提:电源 1000W 起(双卡峰值约 750W,留瞬态余量)、机箱风道够、两张卡别贴太近。 -
想跑更大模型 / 更长上下文
别加 7900XTX,换 32G 的 RDNA4(R9700 Pro)或 N 卡。RDNA3 没有 FP8 硬件,新的 FP8/MXFP4 量化跑不了,RDNA4 才有。 -
两张不同架构混插
只能 layer 切,别做 TP:gfx1100 和 gfx1201 ISA 不同,ROCm 下也不保证 P2P,通信会更慢。等于把 7900XTX 降级做辅助,不划算。
补一句:如果你痛点其实是长上下文 prefill,加同架构卡收益也一般。RDNA3 缺硬件异步搬运、软件栈也弱,可以参考 dardeaw feng 在 tid1723 的实测(Strix Halo 上 halogen 对 llama.cpp 的 prefill 差 2–2.8 倍,且随上下文拉大)。先确认瓶颈在 decode 还是 prefill,再决定花这 5900。
-