但"能跑起来" ≠ "能抄出 110 tok/s"，真正要对齐的是这三样：

1. SGLang 必须是最新版。DFlash2 是今年的新投机解码 kernel，老 release 根本没有。走官方安装（pip install "sglang[all]" 最新版），别装 apt/conda 的旧包。这类 kernel 跟 commit 强绑定，版本差一个都可能行为不同。
2. 模型和量化照抄楼主：Qwen3.8-27B W4A16-AWQ（HF 格式，权重约 13.5G）。SGLang 不吃 GGUF，别换成 Q4_K_M 之类；40 系 Ada 原生支持 FP8，想试 FP8 也可以。
3. torch/transformers 别自己挑版本：sglang 安装时会锁定配套版本，手动装"最新版"反而容易打架。

最准的版本号直接问楼主：让他贴一下 sglang --version 和 pip show torch 最稳。另外预期管理：110 tok/s 是投机解码加持的持续写入速度，DFlash 对 qwen3.8 的用法社区有 cookbook（LMSYS 那篇），不是所有模型都能吃到这个加速。

马里奥这种"单文件还原全部细节"的 prompt 会让思考阶段疯狂拉长——Qwen3.8 的 thinking 和回答共用 max output tokens，思考写嗨了，正文还没开始就被截。4 轮全截基本就是这个原因。按收益排序的解法：

1. 拉高输出上限。客户端 max_tokens 从默认值提到 16384~32768（DSH 里对应配置项），sglang 侧确认 --max-total-token-num 给 KV 池留足——你 48G 卡上 AWQ 权重才 13.5G，富余很大，随便开。
2. 降 reasoning effort。你现在 medium，对这种"要写几千行代码"的任务，medium 思考会把预算吃掉大半。试 low（或 minimal），思考短了，输出预算全留给代码。别直接 off——复杂代码还是需要一点思考，low 是甜点。
3. 任务拆分。先要骨架+核心机制，再一轮轮补细节。"尽可能还原所有细节"单发请求必然超预算，这是预算硬边界，不是参数能救的。
4. 论坛还没人贴同样 prompt 的成功案例，terry 说了有空会测 4bit 版（PID:14280）。你先 max_tokens 拉高 + effort 降 low 试，大概率能出完整可玩版本，到时贴出来大家抄。

HiCache 砍半速度：正常，不是你的配置问题。TID:1329/1341 实测过——HiCache 有价值的是多会话前缀复用（L2 缓存命中），代价就是 tok/s，你自己 14157 也测过"掉得厉害"。你的场景是单会话长写码，L2 命中收益接近于零，关掉是对的，terry 说的"宁可不要 hicache"也是这个意思。

实测开启 HiCache 输出速度会砍掉一半！

#!/usr/bin/env bash

SGLang + DFlash2 投机解码

set -euo pipefail

ROOT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)"
VENV_DIR="${ROOT_DIR}/venv"
MODEL_DIR="${ROOT_DIR}/models"

MODEL_PATH="${MODEL_PATH:-${MODEL_DIR}/Qwen3.8-27B-W4A16-AWQ}"

DFlash2 草稿模型

DRAFT_MODEL_PATH="${DRAFT_MODEL_PATH:-${MODEL_DIR}/Qwen3.8-27B-DFlash2-FP8-tcclaviger}"
DRAFT_QUANTIZATION="${DRAFT_QUANTIZATION:-fp8}"

SERVED_MODEL_NAME="${SERVED_MODEL_NAME:-qwen3.8-27b-w4a16-awq-dflash2}"
CONTEXT_LENGTH="${CONTEXT_LENGTH:-163840}"
KV_CACHE_DTYPE="${KV_CACHE_DTYPE:-bfloat16}"
MEM_FRACTION_STATIC="${MEM_FRACTION_STATIC:-0.91}"
MAX_TOTAL_TOKENS="${MAX_TOTAL_TOKENS:-163840}"
DRAFT_TOKENS="${DRAFT_TOKENS:-8}"
CHUNKED_PREFILL_SIZE="${CHUNKED_PREFILL_SIZE:-4096}"
MAX_PREFILL_TOKENS="${MAX_PREFILL_TOKENS:-16384}"
RANDOM_SEED="${RANDOM_SEED:-123456789}"
HOST="${HOST:-0.0.0.0}"
PORT="${PORT:-8199}"
API_KEY="${API_KEY:-dummy}"
LOG_FILE="${LOG_FILE:-${ROOT_DIR}/logs/sglang-dflash2.log}"

CUDA 13.3

export CUDA_HOME="${CUDA_HOME:-/home/root1/code/llm/cuda-toolkit}"
export PATH="${CUDA_HOME}/bin:${PATH}"
export LD_LIBRARY_PATH="${CUDA_HOME}/lib:${LD_LIBRARY_PATH:-}"

for p in "${MODEL_PATH}" "${DRAFT_MODEL_PATH}"; do
if [[ ! -e "${p}" ]]; then
echo "模型文件缺失: ${p}" >&2
exit 1
fi
done

if ss -ltn "sport = :${PORT}" | tail -n +2 | grep -q .; then
echo "端口 ${PORT} 已被占用" >&2
exit 2
fi

mkdir -p "$(dirname "${LOG_FILE}")"

echo "启动 ${SERVED_MODEL_NAME} @ ${HOST}:${PORT} (ctx=${CONTEXT_LENGTH}, DFLASH2, kv=${KV_CACHE_DTYPE})"
exec "${VENV_DIR}/bin/python" -m sglang.launch_server
--model-path "${MODEL_PATH}"
--served-model-name "${SERVED_MODEL_NAME}"
--speculative-algorithm DFLASH
--speculative-draft-model-path "${DRAFT_MODEL_PATH}"
--speculative-num-draft-tokens "${DRAFT_TOKENS}"
--speculative-draft-model-quantization "${DRAFT_QUANTIZATION}"
--tool-call-parser qwen3_coder
--reasoning-parser qwen3
--default-chat-template-kwargs '{"reasoning_effort":"medium"}'
--attention-backend flashinfer
--speculative-draft-attention-backend triton
--linear-attn-backend triton
--chunked-prefill-size "${CHUNKED_PREFILL_SIZE}"
--max-prefill-tokens "${MAX_PREFILL_TOKENS}"
--mamba-radix-cache-strategy extra_buffer_lazy
--max-mamba-cache-size 12
--cuda-graph-max-bs-decode 8
--context-length "${CONTEXT_LENGTH}"
--kv-cache-dtype "${KV_CACHE_DTYPE}"
--mem-fraction-static "${MEM_FRACTION_STATIC}"
--max-total-tokens "${MAX_TOTAL_TOKENS}"
--random-seed "${RANDOM_SEED}"
--host "${HOST}"
--port "${PORT}"
--api-key "${API_KEY}"
--sleep-on-idle
--enable-cache-report
--enable-metrics
--log-level info > "${LOG_FILE}" 2>&1

还能挤的空间，按收益排序：

1. mem-fraction 0.75 太保守。AWQ 权重才 13.5G，48G 卡开到 0.85-0.9 完全安全，KV 池大一圈。DSH 长时间多轮写码、上下文不断涨，KV 驱逐少一次都是赚。
2. draft tokens 8 → 12 或 16。DFLASH 接受率随草稿窗口先升后平，8 偏保守；不过草稿是 triton 滑窗，窗口太大草稿推理也变慢，建议 12 起步实测对比。
3. 草稿模型别用 unquant。draft 推理速度直接吃有效吞吐，给草稿上量化（fp8 或更小）后接受率可能略降但 draft 更快，净收益要实测。
4. radix cache 默认是开的，确认没被关掉。写码场景系统提示词 + 对话前缀命中后 prefill 大幅减少，长任务均速提升比调任何参数都明显。
5. prefill 和 decode 的重叠。250K 上下文上限下长 prompt 的 prefill 会拖均速，试 --chunked-prefill-size 16384 让两者更好重叠。

两个提醒：

• 110 是含 prefill 的均速，纯 decode 大概率更高，别拿瞬时峰值跟均速比。
• W4A16-AWQ 比 FP8 质量略低，在意回复质量可以同模型 FP8 版跑一把对比，速度会掉，但 48G 卡上不至于腰斩。

想再挖就去 TID:1329 抄 Michael Zhou 的 4090D 全量参数（FP8 + NEXTN + HiCache 24G），TID:1341 有清风明月的 32G NVFP4 + HiCache 参数，三方对照着调。