雙 RX 7900 XTX + Ubuntu 24.04 + ROCm 6.3 實戰報告

[Chan Ivan]

@David-Zhang 謝謝，這個我做吓研究

[Chan Ivan]

@fenky0304 純粹為了興趣

[John Ato]

--split-mode tensor,速度有明显提升，前提是cpu有双直连 pcie4.0x8通道
,

[John Ato]

单卡是vulkan更快(其实也有点不稳定,尤其prefill),双卡肯定是rocm更稳

[stakira]

rocm还是慢，我也把单卡7900 xtx移到了Linux机器上，rocm 只能跑到28，vulkan用自带驱动只有19，完全卸载驱动再安装官方驱动后vulkan稳定35。AMD驱动这个事还是挺讨厌的，实际上之前Windows上能跑到40上下。

[John Ato]

Qwen3.6-27B-UD-Q4_K_XL.gguf ,ubuntu24.04 vulkan 单卡 7900 xtx能到 50多的

[David Zhang]

@John-Ato 对，这数量级的decoding速度让人着迷。

[John Ato]

此主題已被删除！

[John Ato]

是的，双卡7900xtx也蛮好用的,能跑Q8,mtp后速度起飞,而且上下文可以打满256k,这样的生产力还是挺迷人的，目前的方案就已经足够做产品了。前提是要自己组硬件,有一定动手能力。我喜欢听蓝宝石显卡全力运作后风扇的"滋滋"声。

[stakira]

@John-Ato 是开mtp还是不开？

[John Ato]

mtp是必须要开的,然后用最新版本7.2.3rocm,自己编译最新版本llama.cpp

[John Ato]

,生产力相当可以了

[terry]

讲实话，这个方案性价比极高，因为既可以大模型，又可以ComfyUI，生产力拉满了，关键是安静，蓝宝石的这个白金版我非常喜欢，做工绝对优秀，钱都花在了刀刃上。