【直播】二次开发R9700单卡用SGLang跑Qwen3.8-27B成功！ TTFT0.9s/PP2000/TG100tps(代码)！体验丝滑
-
-
只要有12g的显存应该是可以的，你可以参考下面的，鉴于你的显存和内存容量，估计你需要下载量化程度更低一点的模型。
提取完毕。8030 端口当前是 VM123 上的
strata-5070ti容器（Strata 176B / 5070Ti，Up 4 hours (healthy)），启动参数如下。实际
docker run命令（来自/home/fcc/strata-5070ti/start.sh）docker run -d \ --name strata-5070ti \ --gpus device=0 \ -p 8030:8030 \ --ulimit memlock=-1 \ --restart unless-stopped \ -v /data/Strata-data:/data \ -v /data/strata-models/IQ3_XXS:/data/models/IQ3_XXS \ -v /data/strata-models/IQ3_S:/data/models/IQ3_S \ -e MODEL=IQ3_S \ -e CONTEXT=204800 \ -e VISION=no \ -e KV=int8 \ -e GPU=0 \ -e HOST=0.0.0.0 \ -e PORT=8030 \ strata-5070tidocker inspect核对结果（与脚本一致）项 值 镜像 strata-5070ti（基于nvidia/cuda:13.0.0-devel，Ubuntu 24.04 底）入口 ./docker-entrypoint.sh（STRATA_EXECV=1），无额外 Cmd端口 8030→8030（另暴露 8080 未映射）网络 bridgeGPU --gpus device=0（NVIDIA 运行时注入，NVIDIA_VISIBLE_DEVICES=all）重启策略 unless-stopped（VM123 重启后自动回来）Ulimit memlock = -1（无限，CUDA pinned memory 需要）挂载 /data/Strata-data:/data（config 真身在这）、IQ3_XXS与IQ3_S模型目录 → 容器内/data/models/关键 env MODEL=IQ3_S、CONTEXT=204800、VISION=no（无识图）、KV=int8、GPU=0、HOST=0.0.0.0、PORT=8030其他 非 privileged、无 CPU/内存限制、ShmSize 默认 64M、WorkingDir /opt/strata几个要点：
VISION=no：这个 8030 是 CUDA 13 镜像，不带 vision 编码器，带图请求直接 400（识图只在 8080）。KV=int8+CONTEXT=204800：int8 KV cache，完整 204800 上下文。--gpus device=0：只挂 5070Ti（5070Ti 与 R9700 可并行，不同卡）。--restart unless-stopped：别手动拉，VM123 重启后它自己会回来；要停干净得docker stop + docker rm。- 注意
MODEL=IQ3_S但实际跑的是 IQ3_XXS 的 176B 模型（config 真身在宿主/data/Strata-data/config/strata-iq3_xxs.json，MODELenv 只是目录选择标记之一）——如你要改配置，须docker exec进容器改并先备份。
-
@fcme 感谢！ 希望DDR3跑起来不会太慢吧
-
-
-
你這速度已經差不多等於我4090開ninfer了 逆天
-
-
-
-
-
-
@Chan-Sam
对，我的服务器是pcie3.0的，两张卡都是走的3.0的通道。实际上对5070ti跑next flash有一丢丢影响，但是影响不是太大，几乎全程稳定在50上下，掉到47的时候已经做了可能七八十轮任务以后了，速度非常稳。 -
-
-
-
@Chan-Sam
不会，因为r9700的绝对算力和带宽没有5070ti高。我在两张卡上都跑了r9700要稍微慢一点，不管是pp还是tp速度。你如果只跑这一个模型的话，无疑5070ti是更好一点，R9700的话，以后出了什么新的模型适配力强很多，不是一个级别的，显存还是王道。 -
-
@dardeaw-feng
所以AI时代即使小众的硬件也能优化出不错的速度，小众生态的表现也会越来越好的。再等个原生的mxfp4内核替换现在的PP速度就能到4000级别了，到那时SGlang在9700上就可以完爆paiton/vLLM方案了，现在还是互有胜负。 -
@dardeaw-feng
所以AI时代即使小众的硬件也能优化出不错的速度，小众生态的表现也会越来越好的。再等个原生的mxfp4内核替换现在的PP速度就能到4000级别了，到那时SGlang在9700上就可以完爆paiton/vLLM方案了，现在还是互有胜负。MAC M5 Ultra 256g 现在也被优化的速度不错了。 有ai帮助都可以慢慢的优化到极致
-
本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！
所以请教一下你
