NInfer-4090 V3：单路218.7/多路348.5 tok/s
-
-
-
现阶段，Qwen3.8 Flash + GSQ-RCO 在 strata 上仍处于实验验证阶段，GSQ-RCO的量化在质量上还是存在很多问题。受单位推理成本偏高制约，其收益/成本比尚未显著优于 27B 方案。我也正在研究，优化重点转向降低内存占用、提升多卡并行扩展效率，以改善整体吞吐与性价比。毕竟显存才是发挥出效率的终极方案。
-
@_折騰_ 修正下，按照大佬的配置部署好了，我的4090 48G，水冷的卡，2周前看 @terry 版主的youtube推荐，立刻就在京东找了个商家买了，用起来很爽，感谢两位大佬。
汇报下，目前按照 https://github.com/zheteng-v/ninfer-4090 的方法，部署成功了，我自己用token-speed-tester，只跑了一轮的测试，峰值150t/s左右，平均125t/s，用dsh，能保持在120t/s左右，不知道哪里设置不对，不过已经用起来很爽了，感谢两位大佬
贴一下我的启动参数，我要的是256k上下文：
cd ~/ninfer-4090终止所有使用显卡的残留进程（ninfer、python 等）
fuser -v /dev/nvidia* -k 2>/dev/null
确保旧的 ninfer 进程完全退出
pkill -9 -f "ninfer-serve"
./build/apps/ninfer-serve
~/models/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-DFlash2-ninfer-v3.ninfer
--host 0.0.0.0
--port 30000
--max-context 262144
--host-kv-mib 40960
--host-state-slots 4
--max-concurrency 1
--max-pending-requests 10
--prefill-chunk 2048
--kv-dtype fp8
--spec dflash2
--draft-tokens 7刚开始接触本地部署，这次买的配置是4090 48g，128g内存，u7，pcie 5的双槽，计划留一个给未来加一张卡，主要是跑minimax H3，然后发现本地部署qwen 3.8 27b，也很爽。
目前除了在论坛学习，主要是跟着gemini弄，初来乍到，多向各位大佬请教，祝论坛越来越好！
-
@_折騰_ 修正下，按照大佬的配置部署好了，我的4090 48G，水冷的卡，2周前看 @terry 版主的youtube推荐，立刻就在京东找了个商家买了，用起来很爽，感谢两位大佬。
汇报下，目前按照 https://github.com/zheteng-v/ninfer-4090 的方法，部署成功了，我自己用token-speed-tester，只跑了一轮的测试，峰值150t/s左右，平均125t/s，用dsh，能保持在120t/s左右，不知道哪里设置不对，不过已经用起来很爽了，感谢两位大佬
贴一下我的启动参数，我要的是256k上下文：
cd ~/ninfer-4090终止所有使用显卡的残留进程（ninfer、python 等）
fuser -v /dev/nvidia* -k 2>/dev/null
确保旧的 ninfer 进程完全退出
pkill -9 -f "ninfer-serve"
./build/apps/ninfer-serve
~/models/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-DFlash2-ninfer-v3.ninfer
--host 0.0.0.0
--port 30000
--max-context 262144
--host-kv-mib 40960
--host-state-slots 4
--max-concurrency 1
--max-pending-requests 10
--prefill-chunk 2048
--kv-dtype fp8
--spec dflash2
--draft-tokens 7刚开始接触本地部署，这次买的配置是4090 48g，128g内存，u7，pcie 5的双槽，计划留一个给未来加一张卡，主要是跑minimax H3，然后发现本地部署qwen 3.8 27b，也很爽。
目前除了在论坛学习，主要是跟着gemini弄，初来乍到，多向各位大佬请教，祝论坛越来越好！
-
-
-
-
@dardeaw-feng 然后我现在看了论坛的另一个贴，我改成sglang了，速度是慢了点，但是稳定，而且用的fp8，我觉得日常对话，反而比ninfer要舒服，不知道为什么ninfer，在dsh里的时候，对话特别慢，而且有时候会出错，我现在dflash2，单用户，大概能跑到50t/s，还在让ai在给我优化中
-
@dardeaw-feng 我还在优化中，等晚点帖出来让大佬们给我指导指导，我看论坛有大佬说FP8+Dflash2+256K，能跑到100t/s，我用下来，sglang最大的好处是稳定，真的没有啥问题，而且响应好快
-
@dardeaw-feng 然后我现在看了论坛的另一个贴，我改成sglang了，速度是慢了点，但是稳定，而且用的fp8，我觉得日常对话，反而比ninfer要舒服，不知道为什么ninfer，在dsh里的时候，对话特别慢，而且有时候会出错，我现在dflash2，单用户，大概能跑到50t/s，还在让ai在给我优化中
-
-
-
@_折騰_ 修正下，按照大佬的配置部署好了，我的4090 48G，水冷的卡，2周前看 @terry 版主的youtube推荐，立刻就在京东找了个商家买了，用起来很爽，感谢两位大佬。
汇报下，目前按照 https://github.com/zheteng-v/ninfer-4090 的方法，部署成功了，我自己用token-speed-tester，只跑了一轮的测试，峰值150t/s左右，平均125t/s，用dsh，能保持在120t/s左右，不知道哪里设置不对，不过已经用起来很爽了，感谢两位大佬
贴一下我的启动参数，我要的是256k上下文：
cd ~/ninfer-4090终止所有使用显卡的残留进程（ninfer、python 等）
fuser -v /dev/nvidia* -k 2>/dev/null
确保旧的 ninfer 进程完全退出
pkill -9 -f "ninfer-serve"
./build/apps/ninfer-serve
~/models/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-DFlash2-ninfer-v3.ninfer
--host 0.0.0.0
--port 30000
--max-context 262144
--host-kv-mib 40960
--host-state-slots 4
--max-concurrency 1
--max-pending-requests 10
--prefill-chunk 2048
--kv-dtype fp8
--spec dflash2
--draft-tokens 7刚开始接触本地部署，这次买的配置是4090 48g，128g内存，u7，pcie 5的双槽，计划留一个给未来加一张卡，主要是跑minimax H3，然后发现本地部署qwen 3.8 27b，也很爽。
目前除了在论坛学习，主要是跟着gemini弄，初来乍到，多向各位大佬请教，祝论坛越来越好！
@_折騰_ 修正下，按照大佬的配置部署好了，我的4090 48G，水冷的卡，2周前看 @terry 版主的youtube推荐，立刻就在京东找了个商家买了，用起来很爽，感谢两位大佬。
汇报下，目前按照 https://github.com/zheteng-v/ninfer-4090 的方法，部署成功了，我自己用token-speed-tester，只跑了一轮的测试，峰值150t/s左右，平均125t/s，用dsh，能保持在120t/s左右，不知道哪里设置不对，不过已经用起来很爽了，感谢两位大佬
贴一下我的启动参数，我要的是256k上下文：
cd ~/ninfer-4090终止所有使用显卡的残留进程（ninfer、python 等）
fuser -v /dev/nvidia* -k 2>/dev/null
确保旧的 ninfer 进程完全退出
pkill -9 -f "ninfer-serve"
./build/apps/ninfer-serve
~/models/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-DFlash2-ninfer-v3.ninfer
--host 0.0.0.0
--port 30000
--max-context 262144
--host-kv-mib 40960
--host-state-slots 4
--max-concurrency 1
--max-pending-requests 10
--prefill-chunk 2048
--kv-dtype fp8
--spec dflash2
--draft-tokens 7刚开始接触本地部署，这次买的配置是4090 48g，128g内存，u7，pcie 5的双槽，计划留一个给未来加一张卡，主要是跑minimax H3，然后发现本地部署qwen 3.8 27b，也很爽。
目前除了在论坛学习，主要是跟着gemini弄，初来乍到，多向各位大佬请教，祝论坛越来越好！
如果参数没问题，可能是硬件差异有关，试试8K短码结果，如果速度能大于170k+基本可以肯定是硬件差异。不只是来自于相同显卡，CPU，内存频率也有关系。配置更好的也许跑出的速度比我更快。
-
-
-
，系统 取消固定了此主题
