双卡RTX3090 + 256G内存 用Strata 跑orcarouter的QFN IQ4_XS 100t/s 256k 10月8日 冲150T/S
-
-
-
-
-
Strata 三层架构（VRAM/RAM/NVMe）如何"突破"旧经验——调研与分析 (10月9日凌晨补充）
日期：2026-10-08 ｜ 前置：《MoE卸载比例公式-验证报告-1008.md》
0. 结论先行
Strata 没有推翻"容量定比例、带宽定速度"公式，而是把公式的两个静态前提全部动态化了，再把三个引擎级的加速因子叠加上去。旧框架（llama.cpp -ot / vLLM / SGLang）各自只做对了其中一件，Strata 是第一个把四件事叠满的引擎：
# 机制 llama.cpp -ot vLLM/SGLang Strata 1 专家自适应热缓存（VRAM 放"最常用"而非"固定哪层"） ✗（静态分层） ✗（专家须全进显存） ✓ 99% 命中 2 CPU 与 GPU 并行计算（串行和 → max） ✗（串行） ✗ ✓ 3 MTP 投机解码放大有效带宽 ✗（MoE 场景难开） △ ✓ 2.4-3.2 tok/验证窗 4 NVMe 只放查找表不放权重 △（mmap 权重，热路径碰盘） △ ✓ PLE 表 ~3MB/s 毫无压力 1. 逐条解释（对应用户的三层描述）
"显存放专家" = 自适应专家热缓存
24576 个专家每 token 只激活 10 个 → 工作集极小且有时间局部性。Strata 把 VRAM 当自适应缓存（对话中持续学习哪些专家最热），实测命中 92.7%→99.1% 爬升。缓存命中 = 专家根本不用从 RAM 搬，也不用 CPU 算。这正是公式里的 h 项——旧框架把它当预测问题（PreScope 等论文 94%），Strata 用"实测统计+在线换入换出"做到了 99%。
关键句（HOW_IT_WORKS 原文）："More VRAM matters more than a faster GPU: every extra GB holds ~700 more experts"——显存容量直接兑换命中率，显卡算力反而次要。"RAM 放一部分专家" = CPU 原地计算 + 与 GPU 重叠
全部 24576 专家 pinned 在 RAM；显存没缓存的专家由 CPU 原地计算（AVX2/AVX-512 多 token 内核），且"at the same time as the graphics card, so neither waits for the other"。
——这把我上轮公式的串行和变成了 max()，正是 Fiddler prefill 公式的 decode 版落地。这解释了本机实测：EPYC 64 核 CPU 段算冷专家与 3090 GPU 段并行，decode 128-176 t/s。
CPU 段为什么快得动？两个原因：① 命中 99% 后 CPU 只算 1% 的冷专家；② MTP 让每步验证窗平均携带 2.4-3.2 个 token，CPU 内存带宽的有效压力被除以 2.4-3.2。"NVMe 做资料柜" = 查找表下沉，不是权重下沉
NVMe 上放的是 28.8G PLE n-gram 查找表（MTP 草稿的素材库），lookup-only、每 token 读几行 ≈ 3MB/s——NVMe 带宽 7GB/s 根本碰不到天花板。
纠偏（0928 调研已定，Strata 设计再次印证）：如果把专家权重放 NVMe 热路径（内存 136GB/s vs NVMe 7GB/s 差 20 倍）必然爆炸；NVMe 的正确定位只有三种——多检查点仓库、加速冷加载、lookup-only 小 IO 表。Strata 选了第三种，"资料柜"比喻精确。2. 为什么说"突破旧经验"——三个旧框架各自缺什么
- llama.cpp -ot exps=CPU：静态分层（哪些层上卡要人拍）、CPU/GPU 串行、无 MoE MTP、无热缓存。FATE（llama-moe-cache，500 行补丁）给 llama.cpp 补了热缓存+预取，实测 12G 卡跑 120G 模型达原生 2 倍速——证明缺的正是这一块。
- vLLM/SGLang：架构假设专家全进显存（TP 语义下专家被 sharding），显存不够直接不可行；SGLang HiCache 分层的是 KV cache 不是专家权重——解决的是长上下文，不是大专家池。
- club-3090 moecache fork（leloch 未合入主线）：给 llama.cpp 加专家缓存，DeepSeek-V4-Flash 284B 在 2×3090 +29% decode——同类思路的独立印证，"for MoE, the cheap upgrade is RAM, not VRAM"。
3. Strata 崛起时间线（调研确认）
- 2026-09-29 前后：Niko1221 开源（C++/CUDA，双击安装）
- 10 月初：媒体 "Strata goes viral"——125B(6B active) 跑 12G 游戏卡 + 32-64G RAM；社区复现帖（lcz 2027/2098/2156、castlen3 功耗帖：整机功耗风扇噪音优于密集 27B 全速）
- 10 月上旬：Hardin22/DualGPU PR 栈全部进 main（#859/#876/#905/#910），双卡层切流水线 +12%
- 本机 1008：v0.1.40.3 + pipeline-windows 2 → 长会话 150-176 t/s 历史新高
4. 对 P100 副机问题的回扣（重要落点）
️ Strata 硬性要求 compute capability ≥ 8.0（RTX 30 / 对应 AMD 代）——P100 (sm_60) 跑不了 Strata。
P100 副机的可行路径退回：- 公式原样适用（贪心塞满 + 串行两段）→ 30B-A3B Q3_K_M 全显存 ~55 tok/s
- 想在 llama.cpp 系吃到"专家缓存"红利：FATE/club-3090 类 fork 需确认 sm_60 兼容性（未验证，sm60 补丁生态存在但 FATE 用了 CUDA graph/stream 特性，Pascal 支持存疑）——后续可单独调研
- club-3090 口诀对 P100 同样成立："cheap upgrade is RAM, not VRAM"——64G 内存正是这台副机的核心资产
5. 信源
- github.com/Niko1221/Strata docs/HOW_IT_WORKS.md + MULTI_GPU.md
（架构原文） - github.com/ongunm/llama-moe-cache (FATE) （llama.cpp 专家缓存实证）
- club-3090 discussion #951 （284B +29% moecache 实测）
- CBS E 路 8 条（含 viral 报道 2 条）、F 路 0（lcz 站内账本已本地持有）
- 本机现役实测：strata-serving skill（99% 命中/128-176 t/s/MTP 70-74%）
qwen 3.8 27B+sglang ( KLD和PPL数据非常好） 用 10分钟写出的鹈鹕骑自行车：
下面这个是strata + qwen 3.8 flash 用10分钟写出来的，但是颜色错误，让它改回正常颜色又用了15分钟。。。 细节比27B要强一些。
升级1.40之后一次性可以写成功：
@stxpnet Strata 1.40.1 , QFN IQ4 8分钟写的： 9094726b-478d-4eb4-947f-cd7c486d684f.html
-
-
-
，系统 取消固定了此主题
-
感謝分享 我也嘗試上了 但整體感覺還是沒有 27b 來的好用 可能是還沒調適好 我繼續抄作業微調
-
-
@starryskyknight 我也有这样的感觉，flash好像没有27b 聪明，包括在agent里面工具调用
-
本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！
