• 部署模型：qwen3.8-27b-int4（Qwen 3.8 27B，INT4 量化）
• 上下文上限：131,072 tokens
• 检查方式：全程只读——仅调用状态接口与发送推理请求。

一、服务器状态

二、思考模式检查结果： 已开启（默认开启）

Qwen3.8 的 chat template 默认 enable_thinking=true，不传任何参数时所有 chat 请求都会先思考再回答。

行为验证（同一条测试消息「1+1等于几？」）

客户端按需关闭思考

{
  "model": "qwen3.8-27b-int4",
  "messages": [{"role": "user", "content": "..."}],
  "chat_template_kwargs": {"enable_thinking": false}
}

思考 token 会计入 completion tokens，涉及计费/限流时需留意。

三、真实 Token 输出速度实测

结果总览

测试方法

• 固定 prompt：「请写一篇700字左右的散文，主题是秋天的城市街道，要求文笔优美、有画面感和细节描写。」
• 流式请求（SSE）逐 token 计时；decode 速度 = (总 token − 1) ÷ (首 token → 末 token 耗时)
• 每模式 1 次预热 + 3 次正式测量，另做一组顺序反转复测（排除温度/顺序因素）
• 共 8 次正式运行，速度全部落在上表区间内，波动可忽略
• 测试脚本：/tmp/vllm_bench.py

关键数据明细

思考模式 ON（4 轮）

思考模式 OFF（4 轮）

四、解读

1. 日常体感速度 = ~45.8 tok/s（思考模式默认开）。对照 AMD 官方公布的单张 Radeon AI PRO R9700 跑 Qwen3.8 27B（llama.cpp Vulkan + MTP=2）最高 51.8 tok/s，本服务器 vLLM INT4 的 45.8 tok/s 处于合理区间，单卡性能正常。

2. 思考模式反而更快（45.8 vs 36.7）：两种模式的 prompt 长度不同（模板 76 vs 36 tokens）、生成序列长度约 2 倍差异（~1100 vs ~558 tokens）。该 vLLM/ROCm 构建下不同序列长度走了不同的 kernel/attention 路径，长序列每 token 吞吐反而更高。8 轮全部稳定复现，非测量噪声。

3. TTFT 很低（~100–150 ms）：prefill 不是瓶颈；短问答（如 55 token 的回复）实际耗时约 1.2 秒，思考模式对短回复的额外开销约 1 秒。

4. 并发注意：以上均为单并发流速度，多请求并发时会共享 GPU，单流速度会下降。

5. 负载建议：INT4 量化 + 思考模式会拉长输出 token 数、增加显存与延迟占用。以短问答为主的负载可在客户端默认关闭思考、需要深度推理时按请求开启。

五：复测方法

# 思考模式 ON（服务器默认）
python3 /tmp/vllm_bench.py default

# 思考模式 OFF
python3 /tmp/vllm_bench.py nothink