請益 : 7900xtx llama.cpp 用 vulkan 還是 ROCm

[張耀東]

如題，版主yt幾次提到 7900xtx跑 llamacpp 好像都是用 ROCm，想知道 vulkan 是否更好?
用途 : hermess agent 跑 qwen 3.6。原本都用 claude code ，但之後 20美訂閱好像要拿掉 claude code 了想找 opencode hermess agent 或是 open claude code做替代，目前還只做簡單測試，因為開發虛擬機在win11 pro 的 hyper-v上。目前只有用windwos 的 ollama跑 qwen 3.6:27n 跑起來也有 30tk/s。後續想知道有沒有需要換到 linux server。

[terry]

rocm版本，AI会告诉你Vulkan还行，事实上rocm好。你如果能在win下跑到30t/s，那么到linux下也就这个速度。但是Linux下可以折腾下turboquant dflash等技术，vllm之类的。如果只是写代码我认为没必要。另外关于写代码，你可以研究下找个CN代理，下载CN版本的TRAE，估计注册的时候需要接收下短信，它是免费的，体验很好。

[張耀東]

感謝回答，因為爬reddit 和 github 都是說 Vulkan比 ROCm好。我在 TRAE 剛出就知道 但我習慣用純CLI/TUI介面寫code，拋棄vscode很久了，目前開發環境也是 tmux neovim 直接在 terminal 跑 cli ai agent。打算和版主一樣 過半年再看看 等新技術有人折騰好了再用。

[terry]

暂时没必要折腾，就等不够了再换

[gggg1234]

个人感觉，vulkan pp慢 tg快，rocm pp快 tg慢，跑code agnet还是rocm更舒服

[jenaflex]

@張耀東

TLDR，大部分时候 Rcom好
下面这个博主是个老外软件工程师，做的测试（可以忽略那些 不好用的模型的结果）
https://kyuz0.github.io/amd-r9700-ai-toolboxes/

[CHIA AN YANG]

同主題,想問 我也是7900XTX 24G因為放家裡電腦使用win11, wsl2 ,llama.cpp跑起來26t/s請問這樣速度算還可以嗎?

[terry]

@CHIA-AN-YANG 差不多，没问题，ubuntu下也就是25-30

[jenaflex]

@CHIA-AN-YANG 我 7900xt 20G，Windows11 下直接lm studio，rcom，qwen 3.5 或3.6 27b q4km，20k上下文，kv缓存q8，大约23-24 tokens/s

[CHIA AN YANG]

謝謝兩位大神回復