倒反天罡？Ubuntu24.04虚拟机+AMD AI Pro R9700部署vLLM 服务器检查与速度实测报告

[Magic629]

vLLM 服务器检查与速度实测报告

---

• 部署模型：qwen3.8-27b-int4（Qwen 3.8 27B，INT4 量化）
• 上下文上限：131,072 tokens
• 检查方式：全程只读——仅调用状态接口与发送推理请求。

---

一、服务器状态

检查项	结果
/health	200 OK
模型	qwen3.8-27b-int4，挂载路径 /model
max_model_len	131,072
reasoning parser	已启用（思考内容以独立 reasoning 字段返回，与 content 分离）

---

二、思考模式检查结果： 已开启（默认开启）

Qwen3.8 的 chat template 默认 enable_thinking=true，不传任何参数时所有 chat 请求都会先思考再回答。

行为验证（同一条测试消息「1+1等于几？」）

请求方式	返回内容	completion tokens
默认请求（不带参数）	reasoning = "We need answer user's Chinese: … Need final just 2."，content = "2"	55（约 53 思考 token + 2 答案 token）
带 chat_template_kwargs: {"enable_thinking": false}	无 reasoning，content = "2"	2

客户端按需关闭思考

{
  "model": "qwen3.8-27b-int4",
  "messages": [{"role": "user", "content": "..."}],
  "chat_template_kwargs": {"enable_thinking": false}
}

思考 token 会计入 completion tokens，涉及计费/限流时需留意。

---

三、真实 Token 输出速度实测

结果总览

模式	TTFT（首 token 延迟）	decode 输出速度	每轮输出 token	稳定性
思考模式 ON（服务器默认）	154 ms	45.8 tok/s	1024（撞 max_tokens 上限）	±0.03 tok/s
思考模式 OFF	97 ms	36.7 tok/s	522（自然结束）	±0.01 tok/s

测试方法

• 固定 prompt：「请写一篇700字左右的散文，主题是秋天的城市街道，要求文笔优美、有画面感和细节描写。」
• 流式请求（SSE）逐 token 计时；decode 速度 = (总 token − 1) ÷ (首 token → 末 token 耗时)
• 每模式 1 次预热 + 3 次正式测量，另做一组顺序反转复测（排除温度/顺序因素）
• 共 8 次正式运行，速度全部落在上表区间内，波动可忽略
• 测试脚本：/tmp/vllm_bench.py

关键数据明细

思考模式 ON（4 轮）

轮次	TTFT (s)	decode (tok/s)	completion	墙钟 (s)
warmup	0.161	45.74	1024	22.53
run1	0.154	45.80	1024	22.49
run2	0.154	45.76	1024	22.51
run3	0.154	45.81	1024	22.48
复测	0.154	45.84	1024	—

思考模式 OFF（4 轮）

轮次	TTFT (s)	decode (tok/s)	completion	墙钟 (s)
warmup	0.102	36.61	522	14.33
run1	0.097	36.67	522	14.31
run2	0.097	36.65	522	14.31
run3	0.098	36.66	522	14.31
复测	0.097	36.67	522	—

---

四、解读

1. 日常体感速度 = ~45.8 tok/s（思考模式默认开）。对照 AMD 官方公布的单张 Radeon AI PRO R9700 跑 Qwen3.8 27B（llama.cpp Vulkan + MTP=2）最高 51.8 tok/s，本服务器 vLLM INT4 的 45.8 tok/s 处于合理区间，单卡性能正常。

2. 思考模式反而更快（45.8 vs 36.7）：两种模式的 prompt 长度不同（模板 76 vs 36 tokens）、生成序列长度约 2 倍差异（~1100 vs ~558 tokens）。该 vLLM/ROCm 构建下不同序列长度走了不同的 kernel/attention 路径，长序列每 token 吞吐反而更高。8 轮全部稳定复现，非测量噪声。

3. TTFT 很低（~100–150 ms）：prefill 不是瓶颈；短问答（如 55 token 的回复）实际耗时约 1.2 秒，思考模式对短回复的额外开销约 1 秒。

4. 并发注意：以上均为单并发流速度，多请求并发时会共享 GPU，单流速度会下降。

5. 负载建议：INT4 量化 + 思考模式会拉长输出 token 数、增加显存与延迟占用。以短问答为主的负载可在客户端默认关闭思考、需要深度推理时按请求开启。

---

五：复测方法

# 思考模式 ON（服务器默认）
python3 /tmp/vllm_bench.py default

# 思考模式 OFF
python3 /tmp/vllm_bench.py nothink

[terry]

上下文长度呢？没看出来啊，我问的是长上下文多轮测试，这个才是跑Agent最重要的，就是看它长沙下文下的prefill速度，体感如何。你给的数字太复杂了。 弄个简单的结论，新人看起来容易懂。

[Magic629]

@terry 跑Agent多轮对话已做，我还在继续研究结果含义及调优策略，目前有点懵逼。