这是 NInfer 在 48GB RTX 4090（sm_89）上的下游版本，主要围绕 Qwen3.8-27B 做原生 Linux 推理。V3 已从旧的 V2 artifact 和运行时切换到 artifact v3 与绑定实例的 Engine；模型加载、服务和推理走同一套 C++/CUDA 路径，不需要 Docker。

V3 做了什么

• 更新到 v3 权重容器和新的 Engine 绑定方式，保留 V2 作为可回退版本。
• 完成 64K 到模型原生长上下文范围的正确性验证；64K NIAH（大海捞针）结果与 oracle 一致。
• 支持持久会话、Vision 图像/视频输入，以及 OpenAI 和 Anthropic 风格的服务接口。
• 针对 RTX 4090 调整了小批量 Q4/Q5 投影的 T=8 路由，包括 GDN 投影、attention Q5 投影和 SwiGLU 路径。
• 所有速度测试均使用 INT8 或更高精度的 KV cache；没有用降低 KV 精度换速度。

实测数据

短码单请求测试使用 V3 artifact、8K 上下文、INT8 KV、固定代码任务、4096 个输出 token。当前最快的实测配置是 DFlash2 K=7：

保存的 V2 短码基线为 153.67 tok/s，使用的是 MTP3。213.17 tok/s 相对它高约 38.7%，但这是 V3 DFlash2 K=7 对 V2 MTP3 的跨后端比较，不是同配置的版本 A/B。相同的 64K NIAH 测试中，V2/V3 prefill 分别为 1884.70/1884.52 tok/s，decode 分别为 149.59/149.44 tok/s，长上下文表现基本持平。

并发测试是另一种口径：DFlash2 K=7 的 C2/C4/C8 聚合吞吐分别为 125.7/218.7/348.5 tok/s。它表示多路请求的总吞吐，不代表单个请求能达到这些速度。

算子测试也有改善，例如 T=8 attention Q5 gate/value 投影从 57.344 µs 降到 39.936 µs，GDN QK Q4 投影从 35.840 µs 降到 31.744 µs。这些是单算子结果，不能直接当成端到端提速比例。

快速启动

在仓库根目录执行。下载脚本会校验官方 V3 artifact 的 SHA-256：

NINFER_MODEL_DIR="$PWD/models" bash scripts/download-qwen38.sh
cmake -S . -B build -DCMAKE_BUILD_TYPE=Release -DCMAKE_CUDA_ARCHITECTURES=89
cmake --build build -j

短上下文、偏重解码速度时，可从这组已测参数开始：

./build/apps/ninfer-serve models/qwen3_8_27b.ninfer \
  --host 127.0.0.1 --port 8080 \
  --max-context 8192 --kv-capacity 8192 \
  --max-concurrency 1 --prefill-chunk 1024 --kv-dtype int8 \
  --spec dflash2 --draft-tokens 7 --lm-head-draft

服务启动后，可以用下面的请求试一下：

curl http://127.0.0.1:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"qwen3.8-27b","messages":[{"role":"user","content":"用一句话介绍 CUDA Graph。"}],"max_tokens":128}'

首次启动需要生成 CUDA Graph，冷启动可能需要几分钟；这是一次性准备时间，不计入上面的稳态解码速度。若需要长上下文，可把 --max-context 和 --kv-capacity 调高，并按显存余量选择并发数；KV 精度保持 int8 或更高。

相关链接

• 项目 README 与完整说明
• V3 发布记录与验证范围
• 性能实验记录
• 模型卡与 artifact 信息