补充一个我的发现：在windows10操作系统上，ninfer-serve.exe比llama-server占用的物理内存少很多。

在其他应用不变的情况下，我用llama-server加载模型后，物理内存超过50GB；而用ninfer-serve.exe加载模型后的物理内存不到30GB。

一轮33 个请求的较长任务执行情况：

总体上提升很多，但是在MTP 3 投机解码表现我不太满意：

计划MTP设置成2再试试。

验证完了：

典型的长上下文 agent 工具调用任务

DeepSeek总结的问题：
1、内存余量极小，free-after-startup=131 MiB，headroom=0，风险高。
2、full_reset 冷启动长上下文非常慢：120K prompt TTFT 约 168 秒。
3、缓存检查点不够新，后期 cache 停在 74,659，导致增量 prefill 仍要 60～80 秒。
4、单并发串行，长任务总延迟会累积。
5、独立小请求/探针请求可能触发 full_reset，打断长会话缓存，进一步拉高后续 TTFT。

@Prio https://github.com/Don-Chad/ninfer-3090这个项目的预编译包NInfer-3090 v0.6.1（https://github.com/Don-Chad/ninfer-3090/releases）

启动脚本就是改了包中的bat文件，参数如下：
--max-context 163840 --kv-capacity 163840 --max-concurrency 1 --max-pending-requests 2 --pending-timeout-ms 5000 --prefill-chunk 1024 --kv-dtype int8 --spec mtp --draft-tokens 3

唯一的坑就是：
HF 仓库 main 分支 9/15 被更新为 v3 版，v2 版（16.96GiB）在 8/19 的 commit 18dfc887423f，已验证该 commit 的 SHA256SUMS 与官方 model card 完全一致：eec39564...b80199514bf3e
NInfer-3090 v0.6.1能使用的正确版本模型要下载这个：【https://hf-mirror.com/neroued/Qwen3.8-27B-NInfer/resolve/18dfc887423fa5aabf3cb56fac41490e462b3fab/qwen3_8_27b.ninfer】

对了补充一句，unsloth的版本Hermes agent经常出现死循环，但是NInfer版本我从开始用到现在，还真没遇到过之前的死循环。