@用户名违规 0.98确实太激进了，我现在改成0.96，上下文224K。
-
SGLang HiCache 三层 KV 缓存实测：4090 48G 单卡跑通 Qwen3.8-27B 去审（256K + MTP + 视觉全占） -
SGLang HiCache 三层 KV 缓存实测：4090 48G 单卡跑通 Qwen3.8-27B 去审（256K + MTP + 视觉全占）@CHIA-AN-YANG 生产出来的视频片段质量非常不稳定，片段之间人物面孔没办法保持一致，等我生产好了发给你鉴赏。
-
SGLang HiCache 三层 KV 缓存实测：4090 48G 单卡跑通 Qwen3.8-27B 去审（256K + MTP + 视觉全占）@zhenyu-huang
我把YouTube上做AI视频的视频教程链接发给他，让他自己下载视频，然后每秒截一帧，自己识别图片学习。
并且让他下载教程的音频，让他把音频转成文字，学习教程文字内容。
奇怪，没有人好奇黄易的《寻秦记》小说写的是什么吗？这个才是重点^-^ -
SGLang HiCache 三层 KV 缓存实测：4090 48G 单卡跑通 Qwen3.8-27B 去审（256K + MTP + 视觉全占）SGLang HiCache 三层 KV 缓存实测：4090 48G 单卡跑通 Qwen3.8-27B 去审（256K + MTP + 视觉全占）
看到坛里 32G Blackwell 用三层 KV 缓存跑 Qwen3.8-27B 的帖子，分享下我这边 4090 48G 的实测。48G 的余量正好把 MTP 投机 + HiCache 多会话复用 + 满 256K 上下文 + 去审 四样同时占全，不用二选一。已稳定跑生产十来天。
用途 / 工作流
这台 4090 上的去审大模型是整条视频生产线的大脑：
- 输入：黄易武侠小说《寻秦记》原文
- 4090（本机）：去审 Qwen3.8-27B 作为 agent，读小说→按叙述句细拆分镜→生成每段画面的提示词与音画同步脚本
- 4080 32G：跑 ComfyUI 的 MiniMax H3 去审工作流，按 4090 给的分镜逐段出视频
- 简言之：4090 指挥、4080 出片，全流程去审、长上下文（整部小说 + 分镜历史）常驻
正因为反复处理同一部小说的长上下文（大量共享前缀），HiCache 的前缀复用命中率才高得离谱（见下）。
硬件 & 模型
- GPU：RTX 4090 48GB（Ada 魔改，1008 GB/s）
- 主机：Ubuntu，系统内存 62GB
- 模型：Qwen3.8-27B-HERETIC 去审版 · FP8（compressed-tensors，~30GB）
- HuggingFace：https://huggingface.co/OptimizeLLM/Qwen3.8-27B-heretic-MTP-FP8
- 架构：Dense 稠密（非 MoE）+ 混合注意力（48 linear/GDN + 16 full）+ 原生视觉 VL
- 引擎：SGLang 0.5.17
HiCache 三层 KV 缓存
层 内容 容量 L1 GPU（热） fp8 KV，显存 270,278 token（~8.6G） L2 主机内存（温） --hicache-size 24504,447 token（24G） L3 NVMe（冷） 未启用（纯内存，足够用） — - 上下文窗口：256K（
--context-length 262144），KV 池 270K 保满 262K 有余 - 写策略：
write_through；io-backendkernel+ mem-layoutpage_first
性能实测
- 吞吐：thinking-off ~63–76 tok/s（峰 76）；thinking-on ~35–47 tok/s
- MTP 投机：链式 NEXTN 工作正常，accept len 3.8–4.2（no_think）
- 前缀缓存命中率：~88.5%（累计 prompt 3000 万+ token，命中占八九成）
- L2 内存池：503,430 / 504,447 ≈ 99.8% 满（小说前缀被反复复用，LRU 淘汰）
- 前缀复用提速：命中时首 token 冷 2.6s → 暖 0.67s（快 ~75%），17 万 token 长前缀单次直接命中免重算
稳定性 / 运行时长
- 当前配置（去审 FP8 + hicache 24G）：连续 ~20 小时零崩溃，已服务 3000 万+ token
- 去审 Qwen3.8 生产线：~11 天，端点对各 agent 一直在线
- 主机连续开机：2 周 4 天
启动参数
python -m sglang.launch_server \ --model-path /data/qwen3.8-27b-heretic-fp8 --served-model-name 4090 --host 0.0.0.0 --port 8001 \ --context-length 262144 --max-running-requests 1 --mem-fraction-static 0.98 \ --kv-cache-dtype fp8_e4m3 \ --speculative-algorithm NEXTN --speculative-eagle-topk 1 --speculative-num-steps 5 --speculative-num-draft-tokens 6 \ --enable-hierarchical-cache --hicache-size 24 --hicache-write-policy write_through \ --reasoning-parser qwen3 --tool-call-parser qwen3_coder --trust-remote-code --sleep-on-idle几个踩坑 / 权衡
- HiCache 的真正价值是「多会话 KV 复用免 prefill」，不是跑更大上下文——我这种「反复喂同一部小说」的场景命中率 88.5%，省掉八九成重复 prefill，指挥出片的节奏快很多。
- FP8 权重大（30G）→ 树形投机与满 256K 不可兼得：所以用链式 NEXTN（
topk1/steps5/draft6），保满 262K；想上树形投机就得牺牲上下文。 --page-size必须为 1：page-size 64 与混合 mamba 模型 + hicache 不兼容，会 Segmentation fault 崩溃，别踩。- 内存成本：hicache 24G 常驻内存，多卡各开一份会把内存吃紧（我这边 4090 指挥 + 4080 出片同时跑，62G 内存 + swap 就满了），按机器内存量力而行。
小结
一台 4090 48G 当「导演」（去审长上下文 agent 读小说、拆分镜），一台 4080 32G 当「摄制组」（ComfyUI MiniMax H3 去审工作流出片）。4090 相比 32G 卡的最大不同：不用在速度（MTP）和会话持久（HiCache）之间二选一，还能同时保满 256K + 去审。三层 KV 缓存实测命中 ~88.5%，稳定跑生产已 ~11 天。同样搞长篇小说转视频的欢迎交流。
-
SGLang HiCache实测：KV缓存放进内存和SSD，多开Agent终于舒服了，5090/RTX Pro5000/4080S 32G/4090 48G等显卡福音！贴一下我的4090 48G模型配置：4090 (GPU0) 生产情况汇总
模型
项 值 模型路径 OptimizeLLM/Qwen3.8-27B-heretic-MTP-FP8全名 Qwen3.8-27B HERETIC 定向消融去审版 · FP8 量化 compressed-tensors FP8（KV cache 亦 fp8_e4m3），消融 KL 0.065 架构 Dense 稠密（非 MoE）· 混合注意力（48 linear/GDN + 16 full）· 原生视觉 VL 端点 served-model-name= 4090@0.0.0.0:8001服务
项 值 systemd 单元 sglang-4090-heretic状态 active / enabled（开机默认） 引擎 SGLang 0.5.17 备选模型 twolven（Qwen3.8-27B INT4 AWQ 去审，并发2， sglang-4090-twolven，disabled 手动，也已配 hicache）运行参数
--model-path /data/qwen3.8-27b-heretic-fp8 --served-model-name 4090 --host 0.0.0.0 --port 8001 --context-length 262144 # 满 256K 上下文 --max-running-requests 1 # 单发 conc1 --mem-fraction-static 0.98 --kv-cache-dtype fp8_e4m3 --mamba-full-memory-ratio 1.0 --mamba-scheduler-strategy extra_buffer --mamba-track-interval 2048 # 投机解码（链式 NEXTN/MTP）: --speculative-algorithm NEXTN --speculative-eagle-topk 1 --speculative-num-steps 5 --speculative-num-draft-tokens 6 # 前缀缓存（hicache，纯内存）: --enable-hierarchical-cache --hicache-size 24 --hicache-write-policy write_through --disable-overlap-schedule --sleep-on-idle --reasoning-parser qwen3 --tool-call-parser qwen3_coder --trust-remote-code --enable-metrics --enable-cache-report --mm-feature-transport cpu容量 / 显存
项 值 KV 池（显存） 270,278 token → 保满 262K（富余 8,134） hicache 内存池 504,447 token（24G 内存，前缀冷备） 显存占用 46.0G / 49.1G Token 性能（历史实测）
口径 吞吐 accept len thinking-off（代码） ~63-76 tok/s（峰 76） 3.8-4.2 thinking-on（中文推理，temp1.0） ~35-47 tok/s 1.75-2.5 链式投机；FP8 权重大 → 树形投机与满 262K 不可兼得，链式为「保满上下文」最优档。
前缀缓存（hicache）效果
- 命中时：冷 2.6s → 暖 0.67s（首 token 快 ~75%），
#cached-token跳过重算。 - 独有价值：多 session / 前缀总量 > 270K 时，被显存淘汰的前缀从内存 504K 捞回复用，不重算。
- 命中率随流量：有共享前缀则高（实测 0.999），全独立请求则 0。
备注
- page-size 64 与 hybrid mamba 模型 + hicache 不兼容（段错误崩溃），必须 page-size 1。
- hicache 24G + comfyui 重度工作流同时用会内存吃紧（62G 机器），需留意 swap。
- 命中时：冷 2.6s → 暖 0.67s（首 token 快 ~75%），
-
4080&4090不同模型token性能测试@demo 记得是通过加载mmproj 启用视觉， 但是mmproj 和MTP没办法同时开，后面没用这个模型。
推荐vllm跑https://huggingface.co/llmfan46/Qwen3.6-27B-uncensored-heretic-v2-GPTQ-Int4 ， 这个有视觉， 我一直跑着，很稳定。
4080 32G启动参数：exec /data/vllm-env/bin/vllm serve /data/models/heretic-gptq-int4 \ --served-model-name 4080 \ --port 8002 \ --max-model-len 262144 \ --max-num-seqs 1 \ --gpu-memory-utilization 0.96 \ --enable-prefix-caching \ --kv-cache-dtype fp8 \ --trust-remote-code \ --reasoning-parser qwen3 \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder \ --speculative-config '{"method":"mtp","num_speculative_tokens":3}' -
4080&4090不同模型token性能测试@jenaflex 转接卡上没有芯片，就是把PCIEx16分成4份直通出四个oculink口。用的BIOS的Bifurcation。主机是某宝入的二手HP Z4 G4 Workstation，支持PCIE拆分。
-
4080&4090不同模型token性能测试@terry 是的， PCIE x16的槽拆分成x4x4x4x4，PICE扩展卡能接4个显卡坞。
-
4080&4090不同模型token性能测试@blackjack 不在日本。图片是EDIX参展时拍的，估计大家喜欢看，就放上去了。
-
4080&4090不同模型token性能测试@blackjack 图片更新了
-
4080&4090不同模型token性能测试@blackjack 明天找时间上图
-
4080&4090不同模型token性能测试两块显卡：【RTX 4080 32GB】 和 【RTX 4090 48GB】， 都接的显卡坞（x4@PCI-E 3）。最近完整看完了“老特抡锤者”频道的相关视频，也参考了论坛里各位大神的经验分享，随后针对不同模型、量化版本、上下文长度以及MTP 参数进行了多轮测试。把测试结果整理出来，供大家参考。
【20260529更新_2】
4090 / 4080 当前生产配置（亮点：Uncensored 模型驱动Hermes，什么活都不拒绝）
参数 4090 4080 GPU RTX 4090 48GB (Ada) RTX 4080 32GB (Ada) 框架 vLLM 0.21.0 vLLM 0.21.0 Service vllm-4090-27b-fp8vllm-4080-heretic-gptq模型 官方 Qwen3.6-27B-FP8 llmfan46 Heretic v2 GPTQ-Int4 客户端用途 Claude Code Hermes Censored 
uncensored (MPOA)量化 FP8 E4M3 block 128×128 GPTQ-Int4 (Marlin) KV dtype fp8 fp8 max-model-len 262144 (256K) 262144 (256K) max-num-seqs 1 1 gpu-mem-util 0.97 0.96 MTP s 5 3 tool-call-parser qwen3_coder qwen3_coder reasoning-parser qwen3 qwen3 prefix-caching vision/video 内嵌 内嵌bench tok/s 54.2 62.7 bench accept 54% 61% 实际场景 73-76 tok/s（高命中 99% accept） 接近一致 【20260529更新_1】
【先上图，证明不是云】
【平台信息】
类别 项 配置 机型 型号 HP Z4 G4 Workstation 电源 750 W CPU 型号 Intel Xeon W-2133 主频 3.6 GHz 核 / 线程 6 核 / 12 线程 内存 类型 DDR4 容量 32 GB GPU 0 型号 RTX 4090（魔改） 显存 48 GB 用途 主推理 GPU 1 型号 RTX 4080（魔改） 显存 32 GB 用途 副推理 GPU 2 型号 RTX 2080 Ti（魔改） 显存 22 GB 用途 ComfyUI 显存合计 102 GB 系统盘 类型 NVMe M.2 SSD 容量 256 GB 数据盘 挂载点 /data容量 458 GB 系统 OS Ubuntu 24.04 LTS 内核 Linux 6.17.0-29-generic 【4090 token 性能历史】
时间 模型 + 后端 量化 ctx MTP 视觉 uncensored 单流 tok/s 并发 tok/s 2026-05-17 Qwen3.6-27B-FP8 vLLM FP8 + FP8 KV 256K s=3 37 — 2026-05-21 QuantTrio AWQ Dense vLLM AWQ INT4 + FP8 KV 256K s=3 81 208 (并发3) 2026-05-23 中 QuantTrio AWQ-6Bit vLLM AWQ 6-bit 256K s=3 68 124 (并发2, 反慢) 2026-05-23 中 QuantTrio 35B-A3B vLLM AWQ INT4 256K s=3 107 351 (并发5) 2026-05-23 晚 35B-A3B 无 MTP vLLM AWQ INT4 + batched=16384 256K 关145 337 (并发5) 2026-05-24 Qwen3.6-27B-FP8 vLLM FP8 + FP8 KV + prefix-cache 256K s=5 60.8 — 2026-05-24 Qwen3.6-27B-FP8 vLLM 同上 256K s=7 63.8 — 2026-05-24 Qwen3.6-27B-FP8 vLLM 同上 256K s=8 64.0（边际死） — 2026-05-25 Heretic Q8 llama.cpp（试） Q8 + q8_0 KV 256K n=3 63.4 — 2026-05-25 Heretic Q8 llama.cpp（试） 同上 256K n=5 66.5 — 2026-05-25 Heretic GPTQ-Int4 vLLM（失败） GPTQ-Int4 256K s=3 — 21（accept 1.25% broken） — 2026-05-25 Heretic Q8 llama.cpp 
当前 defaultQ8 + q8_0 KV 256K n=7 68.7 — 【4080 token 性能历史】
时间 模型 + 后端 量化 ctx MTP 视觉 uncensored 单流 tok/s 2026-05-09 QuantTrio AWQ Dense vLLM 0.20.1 AWQ INT4 + FP8 KV 128K s=3 62.9 2026-05-11 同上 vLLM 0.20.2（regression） AWQ INT4 128K s=2 45.6 2026-05-22 HauhauCS 27B Aggressive llama.cpp Q4_K_P GGUF 256K 无（mmproj 互斥）32 2026-05-23 QuantTrio 35B-A3B vLLM AWQ INT4 + FP8 KV + seqs=1 256K 无 106 2026-05-23 同上 同上 256K s=1 77 2026-05-23 同上 同上 256K s=2 93 2026-05-23 QuantTrio 35B-A3B vLLM 同上 256K s=3 117 2026-05-24 SummonGov 27B-MTP graft Q6_K_P GGUF + q8 KV 64K n=1 40.1 2026-05-24 同上 同上 64K n=2 50.1 2026-05-24 同上 同上 64K n=3 55.7 2026-05-24 同上 同上 64K n=5 58.9 2026-05-24 同上 同上 64K n=7 55.3 2026-05-24 SummonGov 27B-MTP Q4_K_P GGUF + q8 KV 64K n=3 20.6（accept 2% broken） 2026-05-24 同上 同上 64K n=5 62.5 2026-05-24 同上 同上 64K n=7 56.8 2026-05-24 llmfan46 Heretic Q6_K llama.cpp Q6_K + q8 KV 64K n=3 57.0 2026-05-24 同上 同上 64K n=5 61.6 2026-05-24 同上 同上 64K n=7 56.5 2026-05-24 同上 q8_0 KV @ 256K Q6_K + q8 KV 256K n=5 OOM 差 836 MiB 2026-05-24 同上 q5_1 KV @ 256K Q6_K + q5_1 KV 256K n=5 慢（flash-attn 不兼容） 2026-05-24 同上 q5_0 KV @ 256K Q6_K + q5_0 KV 256K n=5 12（slow path） 2026-05-24 同上 iq4_nl KV @ 256K Q6_K + iq4_nl KV 256K n=5 26（slow path） 2026-05-24 Heretic GPTQ-Int4 vLLM（失败） GPTQ INT4 256K s=3 — 21（accept 1.25%） 2026-05-24 llmfan46 Heretic Q6_K llama.cpp 当前 defaultQ6_K + q4_0 KV 256K n=5 58-62 -
7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享这个太棒了
，先顶再抄作业。