背景:这事为什么值得说

如果你有一张 3090 想跑 Qwen 27B,过去基本只有三个选择:

• llama.cpp —— 通用、稳,但速度拉胯
• vLLM —— 高吞吐,专为多卡 / 数据中心,单 3090 不是它的甜区
• TensorRT-LLM —— 性能强,但编译复杂、坑多

Neroued/ninfer 原版我之前 试过,它只为 RTX 5090 写,build 直接拒绝 sm_120a 之外的架构,3090 连编译都过不去。

Don-Chad/ninfer-3090 就是社区里跑出来的一根硬骨头:把 NInfer 的整套 C++/CUDA 引擎移植到 SM86,专门给 3090 用。原作者 Neroued 的 5090 路标是 1,313 tok/s@C8、15 K tok/s prefill,这次是把"单 GPU 极致调优"的基因搬到了消费级 Ampere 上。

这是什么东西

• 定位:Hyper-optimised Qwen3.8-27B 推理引擎,单 3090 专用
• 技术栈:C++ / CUDA,从零写,不是 llama.cpp fork
• 核心优化:
  • MTP3 投机解码 + ReplaySSM 状态机加速
  • Paged KV cache + 兼容前缀复用
  • CUDA Graphs 降低 decode 延迟
  • C1-C8 Cohort 批处理:1~8 路并发复用同一份 KV pool
• 接口:OpenAI / Anthropic 兼容 HTTP API,工具调用、reasoning effort 都开箱即用
• 视觉 / 长文本:Qwen3.8 视觉推理 + 32K 上下文窗口,长文本用 INT8 KV 顶到 171 K

快速开始

准备

• 一张 RTX 3090(24 GB)
• CUDA Toolkit
• Linux:有 Docker;Windows 11:无依赖,直接下预编译包

Linux (Docker)

git clone https://github.com/Don-Chad/ninfer-3090.git
cd ninfer-3090
docker build --tag ninfer-3090:sm86 .
# 下载 Qwen3.8-27B 量化模型
hf download neroued/Qwen3.8-27B-nvfp4-NInfer \
  qwen3_8_27b_nvfp4.ninfer --local-dir models
# 启动服务
docker run --rm --gpus all -p 8080:8080 \
  -v $PWD/models:/models:ro \
  ninfer-3090:sm86 \
  /usr/local/bin/ninfer-serve \
  /models/qwen3_8_27b_nvfp4.ninfer \
  --max-concurrency 1 --kv-dtype fp8 \
  --spec mtp --draft-tokens 3 --lm-head-draft

Windows 11

直接下 release archive,解压,跑 download-qwen38.bat 下模型,然后 run-qwen38-c1.bat(单用户)或 run-qwen38-c8.bat(8 并发)。

试一下

curl http://127.0.0.1:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "qwen3.8-27b",
    "messages": [{"role": "user", "content": "Reply with one short sentence."}],
    "max_tokens": 64
  }'

性能测试

注:上面 71 tok/s 是"短上下文 + MTP3 投机解码"的数据,实际你会看到 60–85 区间,具体看 prompt 长度和并发。

跟同类项目对比

怎么选:

• 想要速度,愿折腾 → 这个
• 想要省事,5 分钟跑通 → Ollama
• 想要通用 + 模型多 → llama.cpp
• 想要生产 + 多卡 → vLLM

局限 / 注意点

1. RotorQuant rk8v4 KV 模式暂时不可用 —— 作者说在修
2. 没有预编译的 Linux archive —— 走 Docker build
3. FP8 KV cache profile 在 SM86 不支持 —— 只能 INT8,但够用
4. C8 启动时如果请求是 35B-A3B + 8 并发会被拒 —— 资源不够,降级到 C4 或 C2
5. 社区支持,best-effort —— 不是商业产品,出问题自己看 issue
6. 模型是 NInfer 注册的 artifact —— 不能随便换 GGUF,只能用 neroued/Qwen3.8-27B-nvfp4-NInfer 等几个固定 artifact

适合谁 / 不适合谁

适合:

• 3090 玩家想榨干硬件
• 跑 Qwen 27B 想要 OpenAI / Anthropic API 兼容的本地服务
• 单用户低延迟聊天 / 多用户小服务

不适合:

• 想要 5090 / 多卡的极致性能(看原版 Neroued/ninfer)
• 想要丰富模型库(看 llama.cpp / Ollama)
• 想要"开箱即用 + 桌面 GUI"(看 LM Studio)
• macOS 用户(本项目只支持 Linux / Windows 11)