【直播】二次开发R9700单卡用SGLang跑Qwen3.8-27B成功！ TTFT0.9s/PP2000/TG100tps(代码)！体验丝滑
-
-
-
给大伙汇报一下这个框架，现在折腾的有眉目了，基本上可以定型了！
上个checkpoint的时候缓存出了些问题，缓存下来的内容动不动被挤出去，后来在AI的帮助下，把这个问题彻底解决了，现在无比丝滑！！！
在我5070ti上面部署的strata框架跑的千问3.8 Flash Next的协助下，成本就是些电费。
现在的状态是除了pp速度还不能笔尖paiton/vLLM以外，日常的agent使用体验应该是比paiton/vLLM要好些了。主要是两个原因，版主一直安利的SGlang的缓存机制跑通了，而且我还做了一些小优化，给s吉浪套了一个转换器，让它在后台定期自动用dsh/Hermes的系统提示词来预热模型，这样基本上不管是新对话还是同一对话的重复提问，响应时间都能在0.9秒左右，那叫一个丝滑。但是做长输出的时候，速度还是比vLLM要慢一丢丢。什么程度呢，就是能感觉到慢了点，但是没有那么明显了，毕竟反应很快。二次开发过程，截个图留念一下吧，如下（在我间歇性提示和监督的情况下跑了十几个小时的成果，flash-next，牛
！）：
注意这个图片里面用的模型不是27B的。
-
-
-
-
-
只要有12g的显存应该是可以的，你可以参考下面的，鉴于你的显存和内存容量，估计你需要下载量化程度更低一点的模型。
提取完毕。8030 端口当前是 VM123 上的
strata-5070ti容器（Strata 176B / 5070Ti，Up 4 hours (healthy)），启动参数如下。实际
docker run命令（来自/home/fcc/strata-5070ti/start.sh）docker run -d \ --name strata-5070ti \ --gpus device=0 \ -p 8030:8030 \ --ulimit memlock=-1 \ --restart unless-stopped \ -v /data/Strata-data:/data \ -v /data/strata-models/IQ3_XXS:/data/models/IQ3_XXS \ -v /data/strata-models/IQ3_S:/data/models/IQ3_S \ -e MODEL=IQ3_S \ -e CONTEXT=204800 \ -e VISION=no \ -e KV=int8 \ -e GPU=0 \ -e HOST=0.0.0.0 \ -e PORT=8030 \ strata-5070tidocker inspect核对结果（与脚本一致）项 值 镜像 strata-5070ti（基于nvidia/cuda:13.0.0-devel，Ubuntu 24.04 底）入口 ./docker-entrypoint.sh（STRATA_EXECV=1），无额外 Cmd端口 8030→8030（另暴露 8080 未映射）网络 bridgeGPU --gpus device=0（NVIDIA 运行时注入，NVIDIA_VISIBLE_DEVICES=all）重启策略 unless-stopped（VM123 重启后自动回来）Ulimit memlock = -1（无限，CUDA pinned memory 需要）挂载 /data/Strata-data:/data（config 真身在这）、IQ3_XXS与IQ3_S模型目录 → 容器内/data/models/关键 env MODEL=IQ3_S、CONTEXT=204800、VISION=no（无识图）、KV=int8、GPU=0、HOST=0.0.0.0、PORT=8030其他 非 privileged、无 CPU/内存限制、ShmSize 默认 64M、WorkingDir /opt/strata几个要点：
VISION=no：这个 8030 是 CUDA 13 镜像，不带 vision 编码器，带图请求直接 400（识图只在 8080）。KV=int8+CONTEXT=204800：int8 KV cache，完整 204800 上下文。--gpus device=0：只挂 5070Ti（5070Ti 与 R9700 可并行，不同卡）。--restart unless-stopped：别手动拉，VM123 重启后它自己会回来；要停干净得docker stop + docker rm。- 注意
MODEL=IQ3_S但实际跑的是 IQ3_XXS 的 176B 模型（config 真身在宿主/data/Strata-data/config/strata-iq3_xxs.json，MODELenv 只是目录选择标记之一）——如你要改配置，须docker exec进容器改并先备份。
-
@fcme 感谢！ 希望DDR3跑起来不会太慢吧
-
-
-
你這速度已經差不多等於我4090開ninfer了 逆天
-
-
-
-
-
-
@Chan-Sam
对，我的服务器是pcie3.0的，两张卡都是走的3.0的通道。实际上对5070ti跑next flash有一丢丢影响，但是影响不是太大，几乎全程稳定在50上下，掉到47的时候已经做了可能七八十轮任务以后了，速度非常稳。 -
-
版主审定：本帖设为精华，作者 +5 积分奖励，希望再接再厉！
本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！