抡锤者

https://huggingface.co/empero-ai/Qwen3.8-27B-Ridge-GGUF 有没有试过这个量化版本？体积更小，理论上应该快点

@terry 我有一台MINI PC想着利用起来，就看外接有多大损失。 散热问题Mark一下 ，THX

最近打算组一套外接显卡方案专门跑本地AI推理（LLM + ComfyUI），主力卡看中了AMD RX 7900 XTX 24G，显存大性价比高。主机是支持OCuLink和USB4的迷你主机/笔记本，现在纠结是用OCuLink还是USB4，想问问有没有实际用这套组合跑过AI的老哥，分享一下性能表现和有没有什么大坑。

目前我收集到的一些信息：

1. 7900 XTX的AI性能本身似乎还不错

看到有测试说7900 XTX在DeepSeek R1的部分测试中，性能甚至能领先RTX 4090最多13%。当然这可能是特定场景，但至少说明A卡在AI推理上不是不能打。

2. OCuLink vs USB4的带宽差距

OCuLink：原生PCIe 4.0 x4，理论带宽64Gbps，实测可用约6.6GB/s，性能损耗据说只有3%-7%

USB4/雷电4：标称40Gbps，但因为协议转换开销，实际有效带宽只有22-32Gbps，性能损耗10%-20%

3. 有看到一些7900 XTX外接的实际数据

有人用OCuLink外接7900 XTX跑Qwen3.6 27B + 120K上下文，单卡能达到38-40 Token/s

鲁大师测试中，显卡坞相比直插损失仅2.21%

有Framework用户说通过USB4跑7900 XTX“整体表现不错，没什么大问题”，但提到LM Studio识别双卡有问题，换了Ollama才解决

点赞 收藏，也打算入7900XTX