抡锤者

楼主跑ninfer用的哪个项目？

这个速度相当满意： 2026-10-19 23:03:43.715 INFO req#39 started | openai-chat stream | 2 messages | max output 13,107 | thinking medium 2026-10-19 23:03:45.487 INFO throughput | 5.0s | prefill 960.3 tok/s (4,808 tok) | running 1 (prefill 1) | host 46.0% (2.3s) 2026-10-19 23:03:50.482 INFO throughput | 5.0s | prefill 1.54k tok/s (7,680 tok) | running 1 (prefill 1) | host 42.2% (2.1s) 2026-10-19 23:03:55.475 INFO throughput | 5.0s | prefill 1.22k tok/s (6,082 tok) | running 1 (prefill 1) | host 35.4% (1.8s) 2026-10-19 23:04:00.487 INFO throughput | 5.0s | prefill 1.53k tok/s (7,680 tok) | running 1 (prefill 1) | host 45.3% (2.3s) 2026-10-19 23:04:05.483 INFO throughput | 5.0s | prefill 617.3 tok/s (3,084 tok) | decode 57.0 tok/s (285 tok) | running 1 (decode-ready 1) | batch 1.00 | host 21.1% (1.1s) 2026-10-19 23:04:10.489 INFO throughput | 5.0s | decode 94.9 tok/s (475 tok) | running 1 (decode-ready 1) | batch 1.00 | host 1.2% (58.9 ms) 2026-10-19 23:04:15.484 INFO throughput | 5.0s | decode 227.6 tok/s (1,137 tok) | running 1 (decode-ready 1) | batch 1.00 | host 1.0% (51.0 ms) 2026-10-19 23:04:20.474 INFO throughput | 5.0s | decode 180.4 tok/s (900 tok) | running 1 (decode-ready 1) | batch 1.00 | host 1.1% (53.6 ms) 2026-10-19 23:04:25.489 INFO throughput | 5.0s | decode 258.2 tok/s (1,295 tok) | running 1 (decode-ready 1) | batch 1.00 | host 1.0% (50.2 ms) 2026-10-19 23:04:30.480 INFO throughput | 5.0s | decode 111.6 tok/s (557 tok) | running 1 (decode-ready 1) | batch 1.00 | host 1.1% (54.3 ms) 2026-10-19 23:04:35.486 INFO throughput | 5.0s | decode 115.5 tok/s (578 tok) | running 1 (decode-ready 1) | batch 1.00 | host 1.1% (57.2 ms) 2026-10-19 23:04:40.485 INFO throughput | 5.0s | decode 136.8 tok/s (684 tok) | running 1 (decode-ready 1) | batch 1.00 | host 1.1% (57.4 ms) 2026-10-19 23:04:45.484 INFO throughput | 5.0s | decode 153.8 tok/s (769 tok) | running 1 (decode-ready 1) | batch 1.00 | host 1.1% (54.3 ms) 2026-10-19 23:04:50.482 INFO throughput | 5.0s | decode 121.9 tok/s (609 tok) | running 1 (decode-ready 1) | batch 1.00 | host 1.1% (55.9 ms) 2026-10-19 23:04:55.480 INFO throughput | 5.0s | decode 119.7 tok/s (598 tok) | running 1 (decode-ready 1) | batch 1.00 | host 1.1% (55.6 ms)

3090只能流着口水飘过~

@zrlhk 有道理

@terry 说: 不错，非常小众的配置分享，你那表格不能让AI拆开成2-3个吗 行列转置了下，这样看起来顺眼多了。

不错，最近strata风头太盛，ninfer热度不足了，不然是个很好的帖子。

windows下原来是用https://github.com/kvmem/kvmem-llama.cpp/releases，纯版ninfer后端不是给5060Ti用的

@_折騰_ 加油，期待你的新帖子。

@fcme 好吧，也就是说您并没有实际做过，所以不知道这里面的坑到底在哪。 我还以为能有比用插件更简单的解决办法，看样子是没有

@Prio 说: 版主您好，我现在单卡3090用的syv-ai/HyperQwen 的官方方案，这个方案长上下文的情况下decode输出特别慢，只有9-12token/s，想问下有什么好优化方案 多长的上下文？HyperQwen的在我这160k上下文就20tps的decode了，可以想象再长点，速度慢到12tps也正常。 如果场景是长上下文，还是考虑ninfer吧，它更稳。160k上下文时 41.1tps decode。缺点是起手比HyperQwen慢一倍，prefill长上下文更慢。 我是用短上下文的，非cache对话，所以HyperQwen更适合我的场景。

@jingy-yi 说: 我在DSH上，用这个模型，思考强度低，聊天对话速度是95tok/s左右 感谢你的分享，我回头去试试

@he-luo NInfer 這個多併發Prefill 速度不會掉, C是併發數, 實際使用單發 寫文章文字約100 tok/s, 解題速度約 140 tok/s 雙RTX5070 Ti 16GB 結果（MTP3, 335-token fixture, 8192 decode tokens/req, stochastic, TP2 GPU0+1） C 系統 Decode tok/s Prompt Proc (per-req prefill, tok/s) avg batch tok/round Accept % Makespan (s) Per-req elapsed (s) TTFT (ms, per req) vs C=1 1 114.5 3295.4 1.00 2.417 47.4% 71.5 71.5 103 1.00x 2 202.9 3311 / 3349 2.00 4.731 45.7% 80.9 80.5–80.9 102, 244 1.77x 4 342.2 3307 / 3334 / 3342 / 3345 4.00 9.484 45.8% 96.7 95.4–96.7 102, 244, 390, 541 2.99x 8 567.0 3298–3354 (8 req) 8.00 19.016 46.1% 117.8 113.4–117.8 102–1181 (每 req ~+142ms) 4.95x

@David-Chen TP2 加 MTP 不够快基本是预期内的，两点： 27B NVFP4 权重只有 15 到 16G，单张 4090D 48G 完全放得下。decode 是显存带宽受限，每 token 要读一遍权重，TP2 把权重切两半、每卡读一半，但每层要多一次 all-reduce；消费卡没有 NVLink，走 PCIe 的 all-reduce 在 batch=1 时是纯开销，很容易把省下的带宽吃回去。 MTP 是投机解码，收益等于接受率减去草稿与验证成本。TP2 下验证那一步也要参与 all-reduce，draft/verify 通信更频繁，净收益比单卡更小。 所以 ninfer 单卡加 NVFP4 最快是合理的：容量够、没有跨卡通信。TP2 真正有意义是两种情况，一是单卡装不下，二是要高并发、大 batch 服务多请求，靠分摊算力和连续批处理才划得来，前提是 P2P 真开（topo -m、rccl-tests，别退化成 host-staged）。 建议让 ninfer-tp2 作者补一组同 KV dtype、同上下文、同 batch 的单卡对比 TP2 的 pp/tg 曲线和并发曲线，再看 df2 值不值得等。

@David-Chen 大師呀～我的RTX 5070 Ti 被NInfer帶起飛啦！！！ 雖然只有100~140 tok/s 但哪可用性和爽度 讓我超開心！！ 你這進階帖我先留存 以後~以後再實驗看看 話說『心術不正』的市場最大, 也是最先導入最新科技的產業

没事，数据本身干净，标不标基线只影响别人复现。下次扫 K 时把两组都固定成 int8/131072 再对比，DFlash2 vs MTP 的结论会硬很多。

@joker_chang 我遇到过泰文思考的时候死循环，而且概率还是80%左右，有时候处理多语言还是不太方便