项目是什么

syv-ai/qwen38-27b-rtx3090 做的事情：

• W4A16 量化主模型（int4 权重 + 16-bit 激活），把 27B 压到 ~15 GB
• DFlash2 投机解码：用一个 ~1 GB 的 drafter 每次提议 7 个 token，target model 一次 verify，跑出来比纯 MTP（4 个一阶）更快
• 64k 上下文，OpenAI 兼容 API，端口 18020
• 全部 vLLM 0.28.0 + 针对性 patch（KVarN 量化缓存、int4 KV per-token-head、marlin int8 layer-select 等等），做成了 docker 镜像

容器化做得很干净：docker compose --profile single up -d 一行起，模型自动下载 + 量化 + 启动。

硬件 & 环境

• 一台 Ubuntu 24.04 机器，RTX 3090 (24GB), 3950X, 64G DDR4
• 系统盘：nvme 4TB（用了大约 30GB）

部署过程

第一步：把用户加进 docker 组

sudo usermod -aG docker $USER

但这有个坑：新组要重新登录 shell 才生效。如果你在一个已经打开的终端/hermes session 里操作，当前进程的 supplementary groups 不会刷新，还是会 permission denied。

解决办法：要么重启 session，要么用 sg docker -c '...' 把 docker 命令包一层起新会话。后续命令我都用了这个：

sg docker -c 'docker compose build single'

第二步：拉镜像

官方提供了 prebuilt 镜像：ghcr.io/syv-ai/qwen38-27b-rtx3090:latest，9.5GB。直接 pull：

sg docker -c 'docker compose pull single'

第三步：本地 build

docker-compose.yml 里 image: 和 build: 都写了，pull 失败可以直接走 build：

sg docker -c 'docker compose build single'

我这边 build 一次过了。build 过程大致分这几步：

总构建时间大约 20-30 分钟，镜像最终 14.6 GB。

第四步：写 .env

cp .env.example .env
echo "VLLM_API_KEY=$(openssl rand -hex 24)" >> .env   # 本机可以不设，但建议加上
echo "PORT=18020" >> .env
echo "NVIDIA_VISIBLE_DEVICES=1" >> .env                # 选 3090
echo "SPEC=dflash2" >> .env                           # 用 DFlash2 投机解码
echo "PREFIX_CACHE=1" >> .env                         # 推荐
echo "VLLM_WSL2_ENABLE_PIN_MEMORY=1" >> .env           # WSL2 需要，本机无所谓

第五步：启动

sg docker -c 'docker compose --profile single up -d'

会启动两个容器：

• prepare：下载 ~20 GB 的 Qwen3.8-27B-W4A16-AutoRound 模型 + ~1.2 GB 的 DFlash2 drafter + 跑量化脚本（lm_head / embed_tokens int8 化，MTP int8 量化，drafter draft vocab 等）。完成后 exit 0。
• single：等 prepare 完成后启动 vLLM server。首次启动要做 torch.compile + CUDA graphs + FlashInfer JIT，约 2-3 分钟。后续启动因为 /cache volume 里缓存了编译产物，只要 1 分钟左右。

up -d 命令本身会一直挂着等 single 服务健康才返回，这是 depends_on: prepare: { condition: service_completed_successfully } 的设计。

第六步：验证

curl http://127.0.0.1:18020/health
# 空 body, HTTP 200  = healthy

curl http://127.0.0.1:18020/v1/models
# {"object":"list","data":[{"id":"qwen3.8-27b",...}]}

实际聊一句：

curl -X POST http://127.0.0.1:18020/v1/chat/completions \
  -H "Authorization: Bearer $VLLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3.8-27b",
    "messages": [{"role":"user","content":"用一句话介绍你自己"}],
    "max_tokens": 200
  }'

返回：

我是通义千问（Qwen），一个能帮你解答问题、写文案、做分析和写代码的 AI 助手。

usage 显示 prompt_tokens=56, completion_tokens=70, 其中 reasoning_tokens=40 —— Qwen3.8 是 thinking 模型，会先输出思考过程再给答案。注意：thinking 模型的 thinking tokens 也算 decode token。

速度实测

写了个 streaming 测速脚本（仓库里 bench/bench_speed.py，跑 8 个真实 chat prompt 测 C1 速度）：

p00 r0 | ctx=  186t out= 106t | TTFT=0.19s decode=1.22s | decode=  87.1 tok/s
p01 r0 | ctx=  194t out= 231t | TTFT=0.20s decode=2.20s | decode= 104.9 tok/s
p02 r0 | ctx=  188t out= 256t | TTFT=0.19s decode=2.63s | decode=  97.2 tok/s
p03 r0 | ctx=  190t out= 135t | TTFT=0.19s decode=1.66s | decode=  81.2 tok/s
p04 r0 | ctx=  187t out= 215t | TTFT=0.19s decode=1.12s | decode= 191.4 tok/s   <- 代码生成
p05 r0 | ctx=  187t out= 256t | TTFT=0.19s decode=2.39s | decode= 107.0 tok/s
p06 r0 | ctx=  189t out= 185t | TTFT=0.20s decode=1.20s | decode= 154.5 tok/s   <- 英文输出
p07 r0 | ctx=  186t out= 256t | TTFT=0.19s decode=2.06s | decode= 124.2 tok/s

=== 8 runs, avg ctx=188t avg out=205t ===
  TTFT         0.19s
  decode tok/s 118.5
  e2e tok/s    105.5

118.5 tok/s decode (C1 greedy, 250-350W) — 跟项目 README 里 single-user 的 120-130 tok/s (dflash2) 参考值基本一致。

观察：

• SPEC=dflash2 + DFLASH_TOKENS=15：reproducing 25k 文档能到 382 tok/s（draft 主要从 context 复制）

总结

这套方案把 Qwen3.8-27B 模型专门针对3090 24GB进行优化，全套打包安装运行，成品直接可以测试。如果只是想要个本地模型玩玩，这个项目是目前最省事的方案之一 —— docker compose up -d 三条命令搞定，剩下的全是细节调优。