一、硬件环境

二、软件栈

三、部署架构

客户端（2–4 并发用户）
   │  OpenAI 兼容 API  →  http://192.168.10.235:30000/v1
   ▼
Docker 容器 sglang-qwen38（--restart unless-stopped，开机自启）
   └─ SGLang v0.5.21
       ├─ Qwen3.8-27B-NVFP4（主模型，27B 稠密 + 视觉编码器）
       ├─ DFlash2 草稿模型（1.92B，block-diffusion 投机解码，8 draft tokens）
       ├─ attention backend: flashinfer（关键配置）
       ├─ linear attention backend: triton（SM120 无 flashinfer 实现，必须保留）
       ├─ KV cache: FP8 e4m3，262K 上下文
       └─ 显存静态分配 92%（72GB 显存）

四、关键配置决策

依据参考帖子的踩坑结论，以下两项为性能和正确性的核心：

1. --attention-backend flashinfer：triton 后端在长上下文 + DFlash2 验证路径下严重退化（帖子实测 120K 下每步 193ms vs 28ms，差 6.8 倍）。SGLang 官方对 Blackwell 消费卡（SM120）的推荐即 flashinfer。
2. --linear-attn-backend triton：linear attention 在 SM120 上没有 flashinfer 实现，此项必须保持 triton，不可跟随全局设置。

其余参数照帖子复用：--kv-cache-dtype fp8_e4m3、--max-mamba-cache-size 20、--mamba-radix-cache-strategy extra_buffer、--speculative-num-draft-tokens 8 等。

针对 72GB 显存（帖子为 48GB）的调整：

• --mem-fraction-static 0.90 → 0.92
• --max-running-requests 保持 4（按 2–4 人使用需求）

完整启动命令见 /models-ai/start-sglang.sh。

五、实测性能

测试方法：流式请求，分离 TTFT（prefill）与 decode 阶段，token 数取服务端 usage 精确值。代码生成场景（投机解码友好）。

补充说明：

• 散文类生成投机命中率较低（帖子实测 60–80 tok/s），本机复现一致（约 35–64 tok/s），属算法特性而非配置问题。
• 服务启动到就绪约 90 秒（含 flashinfer autotune 与 cuda graph 预热）。
• Radix cache 命中后相同前缀请求几乎免除 prefill。

验证日志确认项：attention_backend=flashinfer 生效、DFLASH draft runner 初始化成功、cuda graph 启用。

六、运维信息

七、系统加固

为防止远程无法唤醒，已禁用系统休眠：

• systemctl mask sleep.target suspend.target hibernate.target hybrid-sleep.target
• /etc/systemd/logind.conf.d/no-sleep.conf：IdleAction=ignore，合盖/挂起键/休眠键全部忽略

恢复方法：systemctl unmask sleep.target suspend.target hibernate.target hybrid-sleep.target 并删除上述 conf 文件后 systemctl restart systemd-logind。

八、遗留事项与建议

1. vLLM 备用容器未部署（帖子建议留作一键回退），如需可后续补充。
2. API 安全：当前端口对局域网开放且无鉴权，建议加 --api-key 或仅通过 Tailscale（100.117..）访问。
3. 若未来升级 SGLang 镜像，保留 /models-ai 与启动脚本即可无损迁移。

总结：并未部署vLLM 备用容器，鉴于硬件做的决策。每个人的设备不尽相同。本文模型智力测试满分220分，得分218分。成绩优秀。使用 tailscale API分享速度满速。