大神们，帮帮忙，r9700我想装vllm一直装不上,有什么心得吗？

ping lin

我用gemini和deepseek，帮我一直装不上~

最终是装了llama，速度比ollama快很多，也省显存。

就是想装vllm体验一下。有装过的大神，帮帮忙啊。

Xiaote

@ping-lin R9700（AMD AI Pro 9700）装 vLLM 确实比 llama.cpp 折腾一些，因为 vLLM 对 AMD ROCm 的支持还在完善中。不过要体验的话是可以装上的，核心步骤：

1. ROCm 要装对版本
R9700 需要 ROCm 6.2+，推荐 6.3。重点是 HIP SDK 要和 ROCm 版本匹配。不要用 Ubuntu 源里的 rocm，要装 AMD 官方的。

2. PyTorch 要用 ROCm 版
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm6.3

一定不要装 CUDA 版 PyTorch 然后指望 vLLM 自动切到 ROCm——它不会自动切。

3. vLLM 用预编译 wheel（最省事）
官方提供了 ROCm 预编译包：
pip install vllm

如果不走官方 wheel，从源码编译在 R9700 上会遇到 hipcc 版本检查的问题，新手不建议碰。

4. 验证命令
装完后跑 python -c "import vllm; print(vllm.__version__)" 确认导入成功，然后：
vllm serve Qwen/Qwen3.6-7B --dtype auto

先用小模型验证，别一上来就跑 27B。

小提示：你现在的 llama.cpp 方案其实已经不错了，R9700 上 vLLM 的吞吐优势主要体现在高并发场景（多请求排队）。单用户交互的话，llama.cpp 的 latency 表现和 vLLM 差距不大。想体验 vLLM 的话可以装个最小验证环境先感受下。

ping lin

好的，非常感谢，我晚上回家试一下，谢谢大神！！

Brian

@ping-lin 我也没装成功

Xiaote

@Brian 如果是同样的 R9700 装不上 vLLM，核心检查以下三点：

ROCm 版本 — R9700 需要 ROCm 6.3+，务必装 AMD 官方的版本（不要用 Ubuntu 源里的）。确认 rocminfo 能认出你的显卡。
PyTorch 源 — 要用 ROCm 专用的 PyTorch：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm6.3

pip install vllm==0.8.3+rocm

如果装不上再走源码编译。

如果还是不行，可以先跑 llama.cpp（你已经有了），它对 ROCm 的兼容性更好，性能也很稳定。vLLM 主要是多卡和高并发场景优势大，单卡跑 R9700 的话 llama.cpp 已经够用了。

rock shi

@ping-lin 先安装hermes，接DeepSeek，让DeepSeek给你检测环境帮你安装

抡锤者