2. 软件环境

vLLM 源码路径：/home/zyyuc/vllm-2080ti-0.24.0-qwopus
Python venv 路径：/home/zyyuc/vllm-env-0240-qwopus
FlashQLA 路径：/home/zyyuc/FlashQLA-SM70-SM75

3. 模型信息

混合架构说明

该模型为 Mamba + Attention 混合架构：

• Attention 层：使用 KV cache，O(n) 随上下文增长
• Mamba 层（linear_attn）：固定递归状态，O(1) 不随上下文增长
• Mamba cache mode：align（与 prefix caching 兼容）

4. 服务加载参数

4.1 systemd unit 完整配置

[Unit]
Description=Qwopus3.6 27B FP8 vLLM 0.24.0 stable server FP8 KV 100K
After=network-online.target
Wants=network-online.target

[Service]
Type=simple
User=zyyuc
WorkingDirectory=/home/zyyuc/vllm-2080ti-0.24.0-qwopus

# ===== 环境变量 =====
Environment=CUDA_HOME=/usr/local/cuda
Environment=PATH=/usr/local/cuda/bin:/home/zyyuc/vllm-env-0240-qwopus/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
Environment=LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/local/cuda/lib64/stubs
Environment=PYTHONPATH=/home/zyyuc/FlashQLA-SM70-SM75
Environment=HF_ENDPOINT=https://hf-mirror.com
Environment=VLLM_USE_DEEP_GEMM=0
Environment=OMP_NUM_THREADS=8
Environment=VLLM_USE_FLASHINFER_SAMPLER=0
Environment=VLLM_QWOPUS_MTP_BF16_DRAFT=1
Environment=VLLM_SM75_SPEC_SYNC_MODE=safe

# ===== 启动前校验 =====
ExecStartPre=/home/zyyuc/check-flashinfer-pr3621-sm75.sh

# ===== 启动命令 =====
ExecStart=/home/zyyuc/vllm-env-0240-qwopus/bin/python -m vllm.entrypoints.openai.api_server \
  --host 0.0.0.0 \
  --port 8000 \
  --model /home/zyyuc/models/Qwen3.6-27B-DSV4Pro-Thinking-FP8 \
  --served-model-name qwen-local \
  --dtype half \
  --tensor-parallel-size 2 \
  --device-ids 0,1 \
  --quantization fp8 \
  --kv-cache-dtype fp8_e4m3 \
  --max-model-len 100000 \
  --enable-prefix-caching \
  --max-num-seqs 1 \
  --max-num-batched-tokens 4096 \
  --enable-chunked-prefill \
  --no-async-scheduling \
  --skip-mm-profiling \
  --reasoning-parser qwen3 \
  --reasoning-config '{"reasoning_start_str":"<think>","reasoning_end_str":"</think>","default_thinking_token_budget":4000}' \
  --default-chat-template-kwargs '{"enable_thinking":true}' \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --chat-template-content-format string \
  --gpu-memory-utilization 0.92 \
  --additional-config '{"gdn_prefill_backend":"flashqla_legacy"}' \
  --speculative-config '{"method":"mtp","num_speculative_tokens":3}' \
  --compilation-config '{"cudagraph_mode":"PIECEWISE","cudagraph_capture_sizes":[4],"max_cudagraph_capture_size":4}' \
  --override-generation-config '{"temperature":0.6,"top_p":0.95,"top_k":20,"min_p":0.0,"presence_penalty":0.0,"repetition_penalty":1.06}' \
  --cpu-offload-gb 0 \
  --disable-uvicorn-access-log

Restart=always
RestartSec=10
TimeoutStartSec=900
StandardOutput=append:/home/zyyuc/vllm-0240-main-8000.log
StandardError=append:/home/zyyuc/vllm-0240-main-8000.log

[Install]
WantedBy=multi-user.target

4.2 关键参数说明

4.3 环境变量说明

5. 运行时状态

5.1 KV Cache 配置

5.2 GPU 显存占用

5.3 显存分配估算

模型权重 (27B FP8 / TP2):  ~19,500 MiB/卡  （固定不可变）
CUDA context + PyTorch:    ~1,700 MiB/卡   （固定开销）
KV cache (162 blocks):       ~507 MiB/卡   （很小）
剩余空闲:                     ~280 MiB/卡

6. 性能测试结果

6.1 测试方法

• 测试脚本：/home/zyyuc/fp8_vs_fp16_ab_test.py
• 每个 prompt 使用 64 字符随机 UUID + 随机词库生成，确保 prompt_tokens_cached=0
• JIT 暖机：短请求 ×2 + 20K 暖机 + 60K 暖机
• 正式测试：20K ×3（max_tokens=256）+ 60K ×2（max_tokens=128）
• 流式请求，记录 TTFT、decode tok/s、prefill tok/s、MTP acceptance

6.2 FP8 KV Cache 测试结果（当前生产配置）

Run	上下文	TTFT (s)	Prefill (tok/s)	Decode (tok/s)	MTP Acceptance
run1	17,042 tok	13.090	1,301.9	88.0	78.9%
run2	17,052 tok	13.138	1,297.9	77.6 ️	68.3%
run3	17,041 tok	13.182	1,292.7	87.8	78.9%
run1	50,983 tok	45.587	1,118.4	87.1	63.6%
run2	51,109 tok	46.039	1,110.1	105.6	76.1%

️ run2 受 Triton JIT 编译干扰，decode 偏低

6.3 FP16 KV Cache 基线对比

6.4 汇总对比

*60K 仅 2 次采样，方差大，不具统计显著性

6.5 关键结论

1. FP8 KV Cache 不带来 decode/prefill 性能提升：与 FP16 基本持平，符合 SM75 架构预期（无原生 FP8 Tensor Core，KV 需反量化为 FP16 计算）
2. FP8 KV Cache 的唯一真实收益是容量 +79.5%：从 115K tokens 提升到 207K tokens
3. 性能瓶颈是 GPU 计算饱和：SM 利用率 96-100%，功耗接近 200W 限制
4. MTP3 投机解码有效：acceptance ~75%，decode 速度显著高于无投机解码（~85 vs ~29 tok/s）