4090 48GB SGlang+DFlash2 平均 110 tok/s 27B W4A16-AWQ

_折騰_

这个速度还有没有提升空间了？同配置同模型下，还有更高的token速度吗？请晒出参数，学习一下。

配置：4090 魔改48GB 64GB内存
SGlang版本：0.5.19.dev20260825+g1fa32d50e1
实测DSH，长时间多轮写码平均 110 tok/s
参数：
│ --model-path /home/root1/code/llm/sglang/models/Qwen3.8-27B-W4A16-AWQ
│ --served-model-name qwen3.8-27b-w4a16-awq-dflash2
│ --speculative-algorithm DFLASH
│ --speculative-draft-model-path /home/root1/code/llm/sglang/models/Qwen3.8-27B-DFlash2
│ --speculative-num-draft-tokens 8
│ --speculative-draft-model-quantization unquant
│ --default-chat-template-kwargs {"reasoning_effort":"medium"}
│ --attention-backend flashinfer（主模型）
│ --speculative-draft-attention-backend triton（草稿，滑窗）
│ --linear-attn-backend triton（GDN/mamba 层）
│ --context-length 250000
│ --kv-cache-dtype fp8_e4m3
│ --mem-fraction-static 0.75
│ --max-total-tokens 240000

Xiaote

110 tok/s 对 27B 这个量级已经是很能打的数字了。论坛里同档对照：4090D 48GB + FP8 + NEXTN 链式投机，thinking-off 代码场景 63-76 tok/s（TID:1329 Michael Zhou 实测）；RTX PRO 4500 32GB + NVFP4 约 55 tok/s（TID:1341）。你的优势来自 W4A16-AWQ 权重小（约 13.5G）+ DFLASH 草稿，这是 48G 卡上的甜点组合。

还能挤的空间，按收益排序：

mem-fraction 0.75 太保守。AWQ 权重才 13.5G，48G 卡开到 0.85-0.9 完全安全，KV 池大一圈。DSH 长时间多轮写码、上下文不断涨，KV 驱逐少一次都是赚。
draft tokens 8 → 12 或 16。DFLASH 接受率随草稿窗口先升后平，8 偏保守；不过草稿是 triton 滑窗，窗口太大草稿推理也变慢，建议 12 起步实测对比。
草稿模型别用 unquant。draft 推理速度直接吃有效吞吐，给草稿上量化（fp8 或更小）后接受率可能略降但 draft 更快，净收益要实测。
radix cache 默认是开的，确认没被关掉。写码场景系统提示词 + 对话前缀命中后 prefill 大幅减少，长任务均速提升比调任何参数都明显。
prefill 和 decode 的重叠。250K 上下文上限下长 prompt 的 prefill 会拖均速，试 --chunked-prefill-size 16384 让两者更好重叠。

两个提醒：

110 是含 prefill 的均速，纯 decode 大概率更高，别拿瞬时峰值跟均速比。
W4A16-AWQ 比 FP8 质量略低，在意回复质量可以同模型 FP8 版跑一把对比，速度会掉，但 48G 卡上不至于腰斩。

想再挖就去 TID:1329 抄 Michael Zhou 的 4090D 全量参数（FP8 + NEXTN + HiCache 24G），TID:1341 有清风明月的 32G NVFP4 + HiCache 参数，三方对照着调。

terry

我弟你这就是我要找的作业，我有空抄下，能跑到这个程度你还要什么自行车。我宁可不要hicache，也想跑4比特量化版本的。

_折騰_

@Xiaote 我使用的是https://huggingface.co/philbert440/Qwen3.8-27B-W4A16-AWQ/tree/main 模型，大小18.7 GB，感觉质量上与Q6感觉不出大的区别。我会按你的建议进行实测一下。非常感谢！

_折騰_

@terry 就是想再压榨一下4090的性能吧，肯定想越快越好，稍后我再测试几组参数，晚些把完整启动脚本贴出来。

_折騰_

根据 xiaote 的建议，这是目前测试下来我认为最优的启动参数了，目前实际测下来 11 轮 · 373 步首 token 平均 1.9s · 112 tok/s

#!/usr/bin/env bash

SGLang + DFlash2 投机解码

set -euo pipefail

ROOT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)"
VENV_DIR="${ROOT_DIR}/venv"
MODEL_DIR="${ROOT_DIR}/models"

MODEL_PATH="${MODEL_PATH:-${MODEL_DIR}/Qwen3.8-27B-W4A16-AWQ}"

DFlash2 草稿模型

DRAFT_MODEL_PATH="${DRAFT_MODEL_PATH:-${MODEL_DIR}/Qwen3.8-27B-DFlash2-FP8-tcclaviger}"
DRAFT_QUANTIZATION="${DRAFT_QUANTIZATION:-fp8}"

SERVED_MODEL_NAME="${SERVED_MODEL_NAME:-qwen3.8-27b-w4a16-awq-dflash2}"
CONTEXT_LENGTH="${CONTEXT_LENGTH:-163840}"
KV_CACHE_DTYPE="${KV_CACHE_DTYPE:-bfloat16}"
MEM_FRACTION_STATIC="${MEM_FRACTION_STATIC:-0.91}"
MAX_TOTAL_TOKENS="${MAX_TOTAL_TOKENS:-163840}"
DRAFT_TOKENS="${DRAFT_TOKENS:-8}"
CHUNKED_PREFILL_SIZE="${CHUNKED_PREFILL_SIZE:-4096}"
MAX_PREFILL_TOKENS="${MAX_PREFILL_TOKENS:-16384}"
RANDOM_SEED="${RANDOM_SEED:-123456789}"
HOST="${HOST:-0.0.0.0}"
PORT="${PORT:-8199}"
API_KEY="${API_KEY:-dummy}"
LOG_FILE="${LOG_FILE:-${ROOT_DIR}/logs/sglang-dflash2.log}"

CUDA 13.3

export CUDA_HOME="${CUDA_HOME:-/home/root1/code/llm/cuda-toolkit}"
export PATH="${CUDA_HOME}/bin:${PATH}"
export LD_LIBRARY_PATH="${CUDA_HOME}/lib:${LD_LIBRARY_PATH:-}"

for p in "${MODEL_PATH}" "${DRAFT_MODEL_PATH}"; do
if [[ ! -e "${p}" ]]; then
echo "模型文件缺失: ${p}" >&2
exit 1
fi
done

if ss -ltn "sport = :${PORT}" | tail -n +2 | grep -q .; then
echo "端口 ${PORT} 已被占用" >&2
exit 2
fi

mkdir -p "$(dirname "${LOG_FILE}")"

echo "启动 ${SERVED_MODEL_NAME} @ ${HOST}:${PORT} (ctx=${CONTEXT_LENGTH}, DFLASH2, kv=${KV_CACHE_DTYPE})"
exec "${VENV_DIR}/bin/python" -m sglang.launch_server
--model-path "${MODEL_PATH}"
--served-model-name "${SERVED_MODEL_NAME}"
--speculative-algorithm DFLASH
--speculative-draft-model-path "${DRAFT_MODEL_PATH}"
--speculative-num-draft-tokens "${DRAFT_TOKENS}"
--speculative-draft-model-quantization "${DRAFT_QUANTIZATION}"
--tool-call-parser qwen3_coder
--reasoning-parser qwen3
--default-chat-template-kwargs '{"reasoning_effort":"medium"}'
--attention-backend flashinfer
--speculative-draft-attention-backend triton
--linear-attn-backend triton
--chunked-prefill-size "${CHUNKED_PREFILL_SIZE}"
--max-prefill-tokens "${MAX_PREFILL_TOKENS}"
--mamba-radix-cache-strategy extra_buffer_lazy
--max-mamba-cache-size 12
--cuda-graph-max-bs-decode 8
--context-length "${CONTEXT_LENGTH}"
--kv-cache-dtype "${KV_CACHE_DTYPE}"
--mem-fraction-static "${MEM_FRACTION_STATIC}"
--max-total-tokens "${MAX_TOTAL_TOKENS}"
--random-seed "${RANDOM_SEED}"
--host "${HOST}"
--port "${PORT}"
--api-key "${API_KEY}"
--sleep-on-idle
--enable-cache-report
--enable-metrics
--log-level info > "${LOG_FILE}" 2>&1

_折騰_

@xiaote 正常编码没问题，效果很好。但尝试以下提示词时，会长时间思考最终因为思考过长，已达到输出 token 上限回答被截断，试过pi hsd都无法正常回答并开始任务，连续4轮思考都被截断了，以下是提示词：使用html单文件写一个超级马里奥的游戏，要保证游戏细节，可玩性，不要脱离原版游戏的体验，尽可能还原所有细节。
有没有成功的？

实测开启 HiCache 输出速度会砍掉一半！

terry

@_折騰_ 最近忙，有空我会测试的，4比特版本智力上没有问题，我在xtx上测试过。你的信息很有用，测试了我做个视频。另外我建议没必要开启投机解码，多会话时收益很小。

Xiaote

thinking 计入输出预算，长任务截断是预算问题，不是模型问题。

马里奥这种"单文件还原全部细节"的 prompt 会让思考阶段疯狂拉长——Qwen3.8 的 thinking 和回答共用 max output tokens，思考写嗨了，正文还没开始就被截。4 轮全截基本就是这个原因。按收益排序的解法：

拉高输出上限。客户端 max_tokens 从默认值提到 16384~32768（DSH 里对应配置项），sglang 侧确认 --max-total-token-num 给 KV 池留足——你 48G 卡上 AWQ 权重才 13.5G，富余很大，随便开。
降 reasoning effort。你现在 medium，对这种"要写几千行代码"的任务，medium 思考会把预算吃掉大半。试 low（或 minimal），思考短了，输出预算全留给代码。别直接 off——复杂代码还是需要一点思考，low 是甜点。
任务拆分。先要骨架+核心机制，再一轮轮补细节。"尽可能还原所有细节"单发请求必然超预算，这是预算硬边界，不是参数能救的。
论坛还没人贴同样 prompt 的成功案例，terry 说了有空会测 4bit 版（PID:14280）。你先 max_tokens 拉高 + effort 降 low 试，大概率能出完整可玩版本，到时贴出来大家抄。

HiCache 砍半速度：正常，不是你的配置问题。TID:1329/1341 实测过——HiCache 有价值的是多会话前缀复用（L2 缓存命中），代价就是 tok/s，你自己 14157 也测过"掉得厉害"。你的场景是单会话长写码，L2 命中收益接近于零，关掉是对的，terry 说的"宁可不要 hicache"也是这个意思。

_折騰_

llama.app Qwen3.8 27B Q6K DFlash2 实测速度也还可以，持续写入平均在96 tok/s 上下浮动，Q6模型比W4A16-AWQ的精度高出1%-2%（理论值，实际感知不大），但模型大小多出8个G左右。两个模型目前基本达到理想配置了，已经没有能力再提升了。

Dady Pan

想抄作业， deepseek让我问问 torch、transformers、sglang、系统和驱动版本，，感谢！
结合另外一篇，ds总结是否正确？

Xiaote

@Dady-Pan 结合另外一篇 + 楼主折騰的配置，DS 那张表判断对了一半：那是 SGLang 的官方环境地板（Ubuntu 22.04+ / CUDA 12.1+ / Python 3.10+ / torch 2.3+，量化支持 FP8、AWQ、GPTQ），你机器 24.04 + 新驱动 + Python 3.12 全满足，这段没问题。

但"能跑起来" ≠ "能抄出 110 tok/s"，真正要对齐的是这三样：

SGLang 必须是最新版。DFlash2 是今年的新投机解码 kernel，老 release 根本没有。走官方安装（pip install "sglang[all]" 最新版），别装 apt/conda 的旧包。这类 kernel 跟 commit 强绑定，版本差一个都可能行为不同。
模型和量化照抄楼主：Qwen3.8-27B W4A16-AWQ（HF 格式，权重约 13.5G）。SGLang 不吃 GGUF，别换成 Q4_K_M 之类；40 系 Ada 原生支持 FP8，想试 FP8 也可以。
torch/transformers 别自己挑版本：sglang 安装时会锁定配套版本，手动装"最新版"反而容易打架。

最准的版本号直接问楼主：让他贴一下 sglang --version 和 pip show torch 最稳。另外预期管理：110 tok/s 是投机解码加持的持续写入速度，DFlash 对 qwen3.8 的用法社区有 cookbook（LMSYS 那篇），不是所有模型都能吃到这个加速。

Dady Pan

作业已抄，确实可以达到110+，截图测试了两个会话降了点，单会话110+稳稳的，测试场景是大前端代码分析重构

terry

磁铁经过版主实测，应用价值很大，予以置顶！

抡锤者

4090 48GB SGlang+DFlash2 平均 110 tok/s 27B W4A16-AWQ

SGLang + DFlash2 投机解码

DFlash2 草稿模型

CUDA 13.3