NInfer-4090 V3：单路218.7/多路348.5 tok/s

[dardeaw feng]

ninfer真的讓4090變神卡了

[NY Zhao]

@terry 风冷受不了那个声音，我是从京东的商家买的整机，他们店保3年，然后是上门服务，我觉得还可以，我把机器放在厨房了，我家厨房是24小时空调，然后也不吵，我这个人就是对噪音有比较特殊的偏好

[NY Zhao]

@dardeaw-feng 然后我现在看了论坛的另一个贴，我改成sglang了，速度是慢了点，但是稳定，而且用的fp8，我觉得日常对话，反而比ninfer要舒服，不知道为什么ninfer，在dsh里的时候，对话特别慢，而且有时候会出错，我现在dflash2，单用户，大概能跑到50t/s，还在让ai在给我优化中

[dardeaw feng]

@NY-Zhao 我只有24G 所以打從一開始就放棄sglang了，能用的kv cache太少，其實現在推論引擎都有prefix cache，增量prefill下去速度都很快，差別只在於token級或是prompt級的頭而已。

[NY Zhao]

@dardeaw-feng 我还在优化中，等晚点帖出来让大佬们给我指导指导，我看论坛有大佬说FP8+Dflash2+256K，能跑到100t/s，我用下来，sglang最大的好处是稳定，真的没有啥问题，而且响应好快

[terry]

@NY-Zhao 我两个都测试了，都挺好的，你可以看下我的那个视频，我是实测了，长上下文没问题，很稳定。但是SGLang+DFlash2如果跑得通，体验肯定是最好的。还有你换AWQ模型，FP8太大了，不划算。

[NY Zhao]

不是说AWQ，不太聪明嘛，我就换成了FP8 @terry

[_折騰_]

正在移植TierKV，完成后多并发会非常爽。。。
之所以搞ninfer框架，速度上确实比sglang要快的多，精度反而比 awq 更高。

[_折騰_]

@NY-Zhao 说:

@_折騰_ 修正下，按照大佬的配置部署好了，我的4090 48G，水冷的卡，2周前看 @terry 版主的youtube推荐，立刻就在京东找了个商家买了，用起来很爽，感谢两位大佬。

汇报下，目前按照 https://github.com/zheteng-v/ninfer-4090 的方法，部署成功了，我自己用token-speed-tester，只跑了一轮的测试，峰值150t/s左右，平均125t/s，用dsh，能保持在120t/s左右，不知道哪里设置不对，不过已经用起来很爽了，感谢两位大佬

贴一下我的启动参数，我要的是256k上下文：
cd ~/ninfer-4090

终止所有使用显卡的残留进程（ninfer、python 等）

fuser -v /dev/nvidia* -k 2>/dev/null

确保旧的 ninfer 进程完全退出

pkill -9 -f "ninfer-serve"

./build/apps/ninfer-serve
~/models/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-DFlash2-ninfer-v3.ninfer
--host 0.0.0.0
--port 30000
--max-context 262144
--host-kv-mib 40960
--host-state-slots 4
--max-concurrency 1
--max-pending-requests 10
--prefill-chunk 2048
--kv-dtype fp8
--spec dflash2
--draft-tokens 7

刚开始接触本地部署，这次买的配置是4090 48g，128g内存，u7，pcie 5的双槽，计划留一个给未来加一张卡，主要是跑minimax H3，然后发现本地部署qwen 3.8 27b，也很爽。

目前除了在论坛学习，主要是跟着gemini弄，初来乍到，多向各位大佬请教，祝论坛越来越好！

如果参数没问题，可能是硬件差异有关，试试8K短码结果，如果速度能大于170k+基本可以肯定是硬件差异。不只是来自于相同显卡，CPU，内存频率也有关系。配置更好的也许跑出的速度比我更快。

[terry]

@NY-Zhao 我没感受到任何差距，FP8就是单纯的大一点。

[terry]

@_折騰_ 加油，期待你的新帖子。