硬件环境

模型信息

当前配置 (2026-06-15)

启动命令

# 激活环境
export PATH="/home/xxx/miniforge3/bin:/home/XXX/.cargo/bin:$PATH"
source /home/XXX/miniforge3/etc/profile.d/conda.sh
conda activate sglang-triton36

# 启动服务
python -m sglang.launch_server \
  --model-path /home/XXX/models-hf/Qwen3.6-27B-FP8 \
  --tp-size 2 \
  --mem-fraction-static 0.75 \
  --context-length 262144 \
  --attention-backend triton \
  --fp8-gemm-backend triton \
  --trust-remote-code \
  --port 23334 \
  --host 0.0.0.0 \
  --disable-custom-all-reduce \
  --cuda-graph-max-bs 1 \
  --cuda-graph-bs 1 \
  --max-running-requests 1 \
  --num-continuous-decode-steps 8 \
  --max-mamba-cache-size 8 \
  --chunked-prefill-size 8192 \
  --disable-overlap-schedule \
  --tool-call-parser qwen3_coder \
  --chat-template /home/XXX/models-hf/Qwen3.6-27B-FP8/chat_template_nothink.jinja \
  --speculative-algorithm NEXTN \
  --speculative-num-steps 5 \
  --speculative-num-draft-tokens 2 \
  --speculative-eagle-topk 1 \
  --allow-auto-truncate \
  --log-requests

关键参数说明

显存分配 (256K 上下文 + MTP)

max_total_num_tokens=146964，allow_auto_truncate=True 超过自动截断。

思考模式

• reasoning_parser=None — 无 reasoning parser
• chat_template_nothink.jinja — 自定义模板，add_generation_prompt 中不输出 <think> 标签
• enable_thinking 变量处理已完全移除
• 模型训练行为残留的 <think> 标签（output_ids 以 248068=`

<｜｜DSML｜｜tool_calls>
<｜｜DSML｜｜invoke name="write_file">
<｜｜DSML｜｜parameter name="content" string="true"> 开头）属于模型输出内容，不影响 reasoning_tokens（始终为 0）

• NOTE: 编辑 chat_template_nothink.jinja 后禁止还原 <think> 标签。如 SGLang 版本升级后模板行为变化，参考本文件的"思考模式"说明进行调试。

性能基准

Decode 速度 (MTP steps=5)

MTP 参数对比测试结果

最优：steps=5, draft_tokens=2, topk=1。Steps=2 以上会在 CUDA graph 捕获阶段增加 draft graph（约 0.3GB 显存开销）。

Prefill 速度 (chunk_size=8K)

环境搭建步骤

1. 安装 Miniforge3

curl -L -o /tmp/miniforge.sh "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Linux-x86_64.sh"
bash /tmp/miniforge.sh -b -p /home/gaopy/miniforge3

2. 安装 Rust (SGLang 编译需要)

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh -s -- -y

3. 克隆并运行 SGLang RDNA4 setup

git clone https://github.com/mattbucci/2x-R9700-RDNA4-GFX1201-sglang-inference.git sglang-rdna4
cd sglang-rdna4
export PATH="/home/gaopy/miniforge3/bin:/home/gaopy/.cargo/bin:$PATH"
bash scripts/setup.sh

4. 修复依赖冲突

conda activate sglang-triton36
cp components/sglang/sgl-kernel/python/sgl_kernel/*.py $CONDA_PREFIX/lib/python3.12/site-packages/sgl_kernel/
pip install kernels==0.14.1
pip install --force-reinstall --no-deps transformers==5.8.0
bash scripts/build_awq_gemv.sh --env sglang-triton36
cd components/sglang
git checkout v0.5.12
for p in ../../patches/0*.patch; do git apply --3way "$p" 2>/dev/null; done
pip install -e "python[all]" --no-build-isolation --no-deps

5. 下载模型（FP8）

huggingface-cli download Qwen/Qwen3.6-27B-FP8 \
  --local-dir /home/gaopy/models-hf/Qwen3.6-27B-FP8 \
  --max-workers 4

服务接口

# 健康检查
curl http://localhost:23334/health

# 模型列表
curl http://localhost:23334/v1/models

# 推理 (OpenAI 兼容)
curl http://localhost:23334/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "/home/XXX/models-hf/Qwen3.6-27B-FP8",
    "messages": [{"role": "user", "content": "Hello"}],
    "max_tokens": 100,
    "temperature": 0.7
  }'

已知问题

1. thinking 残留 — 模型训练行为，</think> 标签以 248068/248069 token 形式出现在输出开头，不影响内容质量
2. X99 无 GPU P2P — 多卡必须用 --disable-custom-all-reduce
3. 首次启动慢 — 模型加载 + KV cache 分配 + CUDA graph + draft graph 捕获约 90 秒
4. FP8 GEMM 警告 — 启动时提示 Using default W8A8 Block FP8 kernel config，性能可能未达最优，等待社区提交 R9700 调优配置
5. Triton deprecation warning — tl.where with non-boolean condition，当前不影响运行

版本历史