抡锤者

strata刚才又更新了，以前超级慢的reading现在变得很快....不知道是不是我的错觉。

油管都是吹Muse的，真的能那么牛逼吗？我看了两个视频，都是些什么吹能帮你赚钱、能帮你省钱这种虚头八脑的说法，没看到什么真的应用。

大佬们，这个项目prefill是不是很慢啊？我跑了一夜后，感觉prefill有点慢。是我自己的原因吗？

@jlist 96G内存，256K上下文。

@marsempire swift确实更快一点，快10token/s

@jlist
[strata] writing a tool call: write: 9731 of max 32000 tokens, 53.9 tok/s, 182 s
[strata] writing a tool call: write: 9795 of max 32000 tokens, 53.9 tok/s, 183 s
[strata] writing a tool call: write: 9851 of max 32000 tokens, 53.9 tok/s, 184 s
[strata] writing a tool call: write: 9915 of max 32000 tokens, 54.0 tok/s, 186 s
[strata] writing a tool call: write: 9977 of max 32000 tokens, 54.0 tok/s, 187 s

可以了，我是5090 24G laptop。感觉不慢。跟我部的27b差不多，但是没有27b雷霆大思考。

@marsempire 有无审查版的，兄弟。我就试了画鹈鹕，鹈鹕有点智障。https://huggingface.co/orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF

@terry 确实可以了...我的5090 laptop笔记本跑这个可以跑满256K上下文，40-50 tok/s，前两天我还在为27B跑满128K上下文可劲折腾，这下好了。 Qwen3.8-Flash-NEXT都能跑了。今天零度发视频了。github上https://github.com/Niko1221/Strata这个项目。

哦买噶，我的5090 laptop笔记本跑这个居然可以跑满256K上下文，40-50 tok/s，前两天我还在为128k，40toks以上，可劲折腾27b。

我自己在deepseek网页上找半天没找到，藏得可真深。

@terry 好的~谢谢老大。我下次注意。我看5060TI原作者整合包里又对应的配置。看有人给他回复，16G显存部署128K上下文可行。

KVmen技术作者视频：https://www.bilibili.com/video/BV19ybv6cE37/?spm_id_from=333.788.top_right_bar_window_history.content.click&vd_source=75586dc86971419da23353de859d40eb
部署整合包作者视频：https://www.bilibili.com/video/BV1Kzhq6cEy4/?spm_id_from=333.1387.homepage.video_card.click&vd_source=75586dc86971419da23353de859d40eb

部署整合包作者：@沈三殊 KVmen

技术开源作者：@FirePKU

一、先说痛点：卡住 24GB 卡的从来不是权重，是 KV

很多人以为本地跑大模型的瓶颈是「模型文件多大」。错。以 Qwen3.8-27B 为例：

• 权重本身：量化后 16~19 GiB，24GB 卡装得下；
• 真正的墙是 KV cache：上下文每多一个 token，注意力的 Key/Value 张量就多存一份。粗算 27B 模型开到 128K 上下文，KV 能吃掉十几 GB 显存——权重 + KV 直接爆卡。

所以 24GB 卡跑 27B + 长上下文，必须做两件事：KV 量化（压体积）和 KV 分层（把 KV 挪到内存里）。这两套技术正好一个管部署、一个管内存。

二、ninfer 整合包：按「计算能力」选引擎的部署方案

它牛在哪：市面上的方案大多「一个包打天下」，跑不起来就让你自己编译。ninfer 整合包的思路是先看显卡计算能力，不看型号名：

计算能力	架构	对应显卡	引擎
sm_120a	Blackwell	5090/5080/5070 全系	官方 5090 档（v3 制品）
sm_89	Ada	4090/4080S/4060 全系	4090 档（预编译最全）
sm_86	Ampere	3090/3080/3060	3090 档

同架构的卡共用同一份二进制——4080 SUPER 直接用「4090 包」照样跑。三档之外另有兜底路线，包里连「判死的路线」都写清楚了，不让你白折腾。

关键机制：制品有「代际」。模型文件分 v1/v2/v3 三代，引擎只认自己那一代，下错直接拒载。判断只要一行：读文件第 8 个字节，03 就是 v3。我的组合：ninfer-windows 0.8.0（sm_120a、只认 v3）+ qwen3_8_27b.ninfer（v3，19.03 GiB，text+vision+mtp+dflash2 全组件）。

KV 量化武器库：bf16 / int8 / fp8 / nvfp4 / k8v4，4090 档还有 rk4v4-e8 / rk2v4-e8（E8 格点量化，压到 2-bit）。KV 量化是运行时行为，不需要重新下模型——同一份制品换个参数就是不同显存/质量档。5090 档实测最优解是 k8v4：132,544 token 的 KV 池只占 4.66 GiB。

三、KVMem：把 KV cache 加载进「内存」的技术

原理一句话：传统推理把整个 KV cache 塞进显存；KVMem 是 llama.cpp 分支上的 KV 分层 + 检索 方案——显存只留一个小的 KV 工作集，其余 KV 常驻宿主内存池（你的内存条），按需换入换出。

效果有多夸张：

• 256K 上下文在 32GB 卡上能跑（实测 244K 上下文 17/17 项全绿）；
• 16GB 的 50 系卡跑 27B 级模型：权重 5.5 GB + 显存工作集约 1.2 GiB，16GB 完全够——ninfer 制品 16~23 GiB 在这种卡上根本装不下，这条路是小显存档的唯一解；
• 真正的门槛从显卡变成了内存：建议 ≥64GB。

ninfer 这边也有同款思路：--host-kv-mib 8192 --host-state-slots 8 ——8 GiB 的 KV 池钉在内存条里（pinned host memory，实测 pin 8 GiB 只花 815ms），显存里只放活动状态。这就是标题说的「内存加载 KV 技术」：权重在显存、KV 在内存、按需交换。KVMem 线的配套参数组更激进：-c 262144 --kvmem-budget 32768 --ctk q5_0 --ctv q5_0 --spec-type draft-mtp——逻辑工作区 256K，GPU KV 预算只给 32768，全奔着省显存去。

四、实测记录：5090 Laptop 24GB 跑 Qwen3.8-27B

硬件：RTX 5090 Laptop 24463 MiB（sm_120a）+ i9-14900HX + 95.7GB 内存 + 驱动 616.92。

最终启动参数（踩坑后定稿）：

ninfer-serve.exe qwen3_8_27b.ninfer
--port 18201 --max-context 131072 --default-max-tokens 32768
--kv-capacity auto --kv-dtype k8v4 --max-concurrency 2
--device-state-slots 0                  # 见坑③！24GB 开视觉必须设 0
--host-state-slots 8 --host-kv-mib 8192 # 内存加载 KV：8GiB 钉在内存
--spec mtp --draft-tokens 3 --lm-head-draft
--preserve-thinking --cors --vision

指标	实测
权重载入	16.9 GiB @ 4.96 GiB/s，3.4 秒；引擎就绪 6.0 秒
KV 池	132,544 tokens（k8v4，auto），占 4.66 GiB
内存加载 KV	host KV 8.00 GiB pinned + host state 1.15 GiB
显存占用	22,998 / 24,463 MiB
文字问答	decode 47.4 tok/s，TTFT 402ms，MTP 接受率 59.6%
图片识别	发一张写着「HELLO 42」的测试图，正确读出，decode 62.4 tok/s，MTP 接受率 78.4%

128K 上下文 + 32K 输出 + 视觉输入，24GB 笔记本一次全满足。

五、四个大坑（每个都真踩过）

1. 网页界面会让引擎死给你看：webui 首次运行要在线连 huggingface.co 拉前端，国内直连不通 → FATAL 退出。走 API + 桌面客户端。
2. 启动脚本窗口闪退（PowerShell 5.1 特色）：引擎日志走 stderr 会被包装成「错误记录」，脚本设了「遇错即停」就在第一行日志自杀。对策：日志逐行转字符串再 tee，BAT 末尾加 pause。
3. 开视觉差 255 MiB 起不来（24GB 专属）：加 --vision 后超预算约 250MB。实测最小改动是 --device-state-slots 0（默认 2），上下文/输出/并发全不动。
4. 拿 ETag 当文件哈希永远失败：上游换了 Xet 存储，要用制品自带 artifact-manifest.json 里的 sha256。另外速度慢先换镜像（aifasthub 多连接 20+ MB/s vs hf-mirror 单连接 1~2.6 MB/s），别换下载器。

六、怎么选：ninfer 线 vs KVMem 线

你的情况	选哪条
50 系 24GB	ninfer 线：性能全开（NVFP4/k8v4、MTP3、DFlash2）
40 系 / 30 系 24GB	ninfer 线（sm_89 / sm_86 各有预编译包）
50 系 16GB	KVMem 线：ninfer 制品装不下，KVMem 5.5GB 权重 + 1.2GiB 工作集轻松跑
几十万~百万 token 超长上下文	KVMem 线：KV 分层 + 检索就是为此而生
2080Ti / A100 / H100 等	KVMem 线兜底（含六档 SM 预编译）

一句话：ninfer 是部署方案的天花板，KVMem 是显存天花板的破墙锤。24GB 档用 ninfer 打满性能，装不下的卡和超长上下文用 KVMem 破局——两条线共享同一套模型，按需切换。

七、给后来者的三条建议

1. 三条判据永远不过时：架构一致 → 能跑；代际一致 → 能读；校验一致 → 文件对。跑不起来先查这三条，别瞎改参数。
2. 参数按显存档位调，别照抄：上下文/KV 档/并发是一体的，24GB 和 32GB 的最优解不一样。
3. 校验和许可别偷懒：核字节数 + sha256（不是 ETag）；KVMem 线是 Apache-2.0，再分发要带许可全文 + 署名与改动说明 + 论文引用。

@williamlouis 确实不支持，但是可以用hermes给它改的兼容，（具体怎么改，你看老特视频。）我已经改的兼容，现在就是工具调用这块老有问题。

我把codex接入了mimo token plan，但是codex不能完整完成任务，总是输出以下似乎是调用工具的内容后截断。大佬们，求个解决方案。

<tool_call>
function_calls>
<tool_call>
{"name": "exec_command", "arguments": {"cmd": "& "E:\ai-toolkit\venv\Scripts\python.exe" -c "\ncontent = open(r'E:\laya\backend_simple.py', 'r', encoding='utf-8').read()\n# Replace capture_screen method with fallback\nold = ''' def capture_screen(self, region=None):\n if region is None:\n monitor = self.sct.monitors[1]\n region = {\"top\": monitor[\"top\"], \"left\": monitor[\"left\"],\n \"width\": monitor[\"width\"], \"height\": monitor[\"height\"]}\n screenshot = self.sct.grab(region)\n return Image.frombytes(\"RGB\", screenshot.size, screenshot.rgb)'''\nnew = ''' def capture_screen(self, region=None):\n try:\n if region is None:\n monitor = self.sct.monitors[1]\n region = {\"top\": monitor[\"top\"], \"left\": monitor[\"left\"],\n \"width\": monitor[\"width\"], \"height\": monitor[\"height\"]}\n screenshot = self.sct.grab(region)\n return Image.frombytes(\"RGB\", screenshot.size, screenshot.rgb)\n except Exception as e:\n print(f\"[mss截图失败: {e}, 改用PIL.ImageGrab]\")\n from PIL import ImageGrab\n img = ImageGrab.grab()\n return img'''\nif old in content:\n content = content.replace(old, new)\n open(r'E:\laya\backend_simple.py', 'w', encoding='utf-8').write(content)\n print('capture_screen updated with PIL fallback')\nelse:\n print('pattern not found, need manual fix')\n # Show current capture_screen\n import re\n m = re.search(r'def capture_screen.?return.', content, re.DOTALL)\n if m:\n print(m.group()[:500])\n" 2>&1", "workdir": "E:\laya"}}
</tool_call>
</function>

@张光璞 4060大概率是玩不动的...至少20G显存以上才有戏。我这个是有一定生产能力的，40t/s虽然有点慢，但能用，晚上睡觉用dsh开个agent-team，让deepseek-flash给它做规划和审查，让qwen3.8-27b写代码。第二天起来验收。还是没啥问题的...就是白天用它干活太墨迹了...想看看有没有大神能优化到80t/s就完美了。

@terry 是的，谢谢老大回复，哎，我的问题是现在只能跑出来128k上下文，40T/S，感觉还是慢...翻B站有些大佬的评论，和我同样配置能跑出来256k上下文，80T/S。不知道他们怎么做到的....

大佬能给一下详细配置吗？我笔记本5090 24G显存 96G内存，只能跑40t/s

@Xiaote 感谢老特儿子的回复。
-m "E:\llama-cpp\models\lmstudio-community\Qwen3.8-27b-gguf-iQ4\Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-IQ4_XS.gguf" ^
--mmproj "E:\llama-cpp\models\lmstudio-community\Qwen3.8-27b-gguf-iQ4\mmproj-Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-BF16.gguf" ^
-c 131072 ^
-ngl 99 ^
-t 24 ^
-tb 24 ^
-b 2048 ^
-ub 256 ^
-np 1 ^
--temp 0.15 ^
--top-p 0.9 ^
--top-k 40 ^
--min-p 0.05 ^
--presence-penalty 1.0 ^
--repeat-penalty 1.05 ^
--flash-attn on ^
-ctk q4_0 ^
-ctv q4_0 ^
--reasoning on ^
--kv-offload ^
--spec-type draft-mtp ^
--spec-draft-n-max 2 ^
--ctx-checkpoints 64 ^
--cache-reuse 4096 ^
--no-context-shift ^
--cache-ram 24576 ^
--host 0.0.0.0 ^
--port 11433 ^
--mmap ^
--mlock
我自己目前用的这个配置，大概40t/s，不知有没有改进空间？如果用Q4_K_M+vision想调到128k上下文，就感觉会很慢。