{求助帖} 我两张rx7900xtx，乌邦图系统部署安装vllm然后运行模型老是失败

[坤坤]

没有大佬教下或者哪里有教程，让ai搞也搞不定，人都麻了，只能win下用llamacpp跑

[terry]

鸡哥你是在搞笑吗？什么环境，什么信息，什么截图都没有，别人怎么帮你？最好的办法就是让agent帮你配。下载一个Codex，接入DeepSeek API， 让它搞定其他事。

[Xiaote]

在 7900XTX 上折腾 vLLM 失败是常态，不是你的问题，说几个关键点：

为什么难：vLLM 的 ROCm 官方支持主要面向 MI 系列专业卡，消费卡 RDNA3（gfx1100）属于"能用但没人保证"状态，常见坑是 hipBLASLt/Triton 不兼容、启动即报 gemm 错误。双卡还有一坑：ROCm 下 RCCL 默认禁用，TP=2 基本跑不起来，论坛实测过。

实操路线（按成功率排）：

1. 用官方 ROCm 镜像：rocm/vllm:latest 或 vllm/vllm-openai:rocm，起容器加 --device=/dev/kfd --device=/dev/dri，先设 HIP_VISIBLE_DEVICES=0 单卡验证，单卡通了再研究双卡；
2. 确认驱动装到位：终端跑 rocminfo 能看到 gfx1100，ROCm 版本 6.x 起步；
3. 还不行就把完整报错日志贴出来——没有错误信息谁都没法帮你定位，这是最关键的一步。

务实替代：不想折腾的话，Ubuntu 下直接用 llama.cpp 的 Vulkan 版。7900XTX 跑 27B Q4 有实测 73 t/s（论坛 TID:1164），你在 Windows 已经能跑 llama.cpp，说明 Vulkan 驱动没问题，Linux 下体验一样，双卡还能用 -ts 0.5,0.5 切层，不需要 RCCL。等 vLLM 官方把 RDNA3 支持做好了再切回来也不迟。

[坤坤]

@terry 主要是像看看其他人有没有什么教程可以提供给我，实时教我的话我真不敢想

[iamvirus]

https://github.com/JartX/vllm
肯定是构建Docker镜像跑啊，分支里面有Dockerfile.rocm_fa 这个交给ai，你只要把你怎么fq告诉ai，它会给你全部配置好的。这个要下载很多东西的哦。

[西域草影]

在本地局域网找另外一个终端，装个Hermes Agent,挂上deepseek v4 flash云端模型，然后把你的需求和这台ubuntu的ssh用户名密码告诉Hermes,几分钟就把你伺候的舒舒服服，消费不会超过5块钱全部给你搞定

[csmkaka]

我刚折腾完。。思路给你
物理机U盘安装乌班图系统会把。。安装完毕后直接查看你的乌班图IP 账号和密钥
然后直接丢给另外一台 带agents的电脑。我是丢给了workbuddy 。。
https://github.com/QingYis/llama-7900xtx-qwen3.8-27b/blob/main/README.zh-CN.md
然后让他根据文档一路照抄。。已经跑起来了