雙 RX 7900 XTX + Ubuntu 24.04 + ROCm 6.3 實戰報告

[David Zhang]

@Chan-Ivan 估计是两张显卡的 pcie 带宽瓶颈，如果3.0 x16, 向量并行，我猜应该不止这个速度，reddit上也有人跑过双xtx。

[terry]

说实话哥们能把这张肥卡用两张放到一个机箱里我也挺震惊的，我的主板除非用延长线，否则做不到。

[fenky0304]

感謝您的無法分享!!! ^_^

[Chan Ivan]

@terry 遲些會補充的

[Chan Ivan]

@terry 说:

说实话哥们能把这张肥卡用两张放到一个机箱里我也挺震惊的，我的主板除非用延长线，否则做不到。

雖然是同一個機箱內，但我用了延長線把下面的卡放在底部，把下面卡的風扇對住底部的風口，墊高了一點

[Chan Ivan]

@David-Zhang 謝謝，這個我做吓研究

[Chan Ivan]

@fenky0304 純粹為了興趣

[John Ato]

--split-mode tensor,速度有明显提升，前提是cpu有双直连 pcie4.0x8通道
,

[John Ato]

单卡是vulkan更快(其实也有点不稳定,尤其prefill),双卡肯定是rocm更稳

[stakira]

rocm还是慢，我也把单卡7900 xtx移到了Linux机器上，rocm 只能跑到28，vulkan用自带驱动只有19，完全卸载驱动再安装官方驱动后vulkan稳定35。AMD驱动这个事还是挺讨厌的，实际上之前Windows上能跑到40上下。

[John Ato]

Qwen3.6-27B-UD-Q4_K_XL.gguf ,ubuntu24.04 vulkan 单卡 7900 xtx能到 50多的

[David Zhang]

@John-Ato 对，这数量级的decoding速度让人着迷。

[John Ato]

此主題已被删除！

[John Ato]

是的，双卡7900xtx也蛮好用的,能跑Q8,mtp后速度起飞,而且上下文可以打满256k,这样的生产力还是挺迷人的，目前的方案就已经足够做产品了。前提是要自己组硬件,有一定动手能力。我喜欢听蓝宝石显卡全力运作后风扇的"滋滋"声。

[stakira]

@John-Ato 是开mtp还是不开？

[John Ato]

mtp是必须要开的,然后用最新版本7.2.3rocm,自己编译最新版本llama.cpp

[John Ato]

,生产力相当可以了

[terry]

讲实话，这个方案性价比极高，因为既可以大模型，又可以ComfyUI，生产力拉满了，关键是安静，蓝宝石的这个白金版我非常喜欢，做工绝对优秀，钱都花在了刀刃上。