硬件：EPYC 7B13 (64C/128T, Zen3) + 2×RTX 3090 24G + 247G DDR4-2133 八通道 + NVMe
模型：Qwen3.8-Flash-Next-Uncensored IQ4_XS（orcarouter 无审查微调，97.5G GGUF）
引擎：Strata v0.1.38（Niko1221/Strata）
实测体感：限制250W 及 1570MHZ核心，温度可压到60度以下，三风扇无噪音。TG 稳定 90-120 t/s，长文写作 80 t/s 左右，262K 满上下文，视觉可用

10月8日升级后加参数: 150 t/s 是真的，而且日志里最高冲到 175.9 t/s。拉了全部引擎日志和 /metrics，归因分析如下：

你的 150+ 从哪来（三层叠加）

① 主因：pipeline-windows 2 生效了（双卡不再轮流干等）
0.1.39/0.1.40.1 时代层切分是“严格接力”——卡0算完传给卡1，每步有半个周期两张卡之一在空转（fork 作者实测“每张卡每步闲置过半”）。现在 --pipeline-windows 2 让卡0在卡1验证当前窗口时就开始算下一窗，空转时间被吃掉。你日志里整段稳态在 104-136 t/s 区间（旧基线 71-99），长答 9473 tok 跑出 124.6 t/s——这个稳态抬升就是流水线的贡献，+25~30%。

② 助推：热点会话的专家缓存命中 94-97%
你 150+ 的那几段（160.5/160.4/165.2/175.9）全部是 2 秒短段 + 94%+ 命中 + PCIe 传导只占 2-3.5%——热会话里专家几乎全在双卡缓存里，miss 极少，流水线不用等 PCIe 搬运，MTP 猜测链也顺。命中率低的段落（88.4% 那条只有 106.7 t/s）反证了这个相关性。

③ 波峰：MTP 接受率好的短段
短段（100-240 tok）样本小，若草稿层连中，单窗口提交多 token，瞬时速度就高——175.9 那条是典型的“波峰读数”。整段 MTP 接受率目前 68.5%，中规中矩。

• 写“短段峰值 150-176，长答稳态 112-125”，别只报峰值——175.9 是 240 tok/4s 的短段，长文读者会自己复现不出来然后回帖质疑
• 对照基线：同机 IQ4_XS 旧版 71-99 t/s → +40~70%（比 fork 作者 IQ3_S 的 +50% 还好，可能因为你的 24G×2 显存缓存余量更大）
• 配置写清楚：0.1.40.3 + --pipeline-windows 2 --adapt-async 1 + IQ4_XS + 262K + 会话驻留缓存 64G/16 slots——尤其提 0.1.40.3 起 fork 能力已全进官方 main，不需要再装 fork

“更快的卡放最后（跑 output head + draft）”在 0.1.40 已是自动行为（server 按 SM×clock 自己排卡），你的双 3090 同型号无此差异——这也是你复现干净的加分项。

10月8日,速度已经很满意 了,后续就是打磨质量了(3D鹈鹕骑车用了8分钟写成,增加细节另花10分钟) :

打开后要等几十秒加载three.js
pelican.html

一、先看账本：每一 GB 去了哪

显存账本（每卡 24G，几乎满配）

双卡分工是层切分流水线（0-22 层 / 23-47 层），不是张量并行——不需要 NVLink/P2P，PCIe 3.0 x16 老平台一样跑。

内存账本（247G，进程 RSS 实测 ~97G）

关键认知：free 命令显示的 used 不含 PLE 锁页（mmap 页计入 Cached），看进程 RSS 才是真话。别被 70G 的假象骗了。

CPU 账本（64 物理核）

"只用到一半 CPU"是 top 的错觉：物理核 64 个全在烧，SMT 线程闲着。如果能升级AVX-512的CPU，内核可以更快，但 Zen3 只有 AVX2——Engine 自带 iq_avx2.cpp 多 token 内核（实测 down 4.4 GB/s vs ggml 3.2，3-token 窗口 282us vs 414us），AVX2 用户不亏。

启动账本

冷启动 35 秒完成 61G 专家加载（~27 GiB/s，八通道 DDR4-2133 的理论带宽约 120GB/s，单线程顺序读能跑到 1/4 理论值已经很扎实）。

二、架构拆解：为什么它能"魔法打败魔法"

Flash-Next 是 125B 总参 / 6B 激活的 MoE：48 层 × 512 专家，每 token 只激活 10 个。这个结构就是为 Strata 量身定做的——激活稀疏性让"专家分家"成为可能：

1. 四级存储瀑布（核心思想：厨房台面与 pantry）

VRAM  →  每 token 必经之路：注意力/DeltaNet/KV/草稿头
        + 热点专家缓存（自适应学习你的对话习惯，命中率爬到 97-99%）
RAM   →  全部专家 pin 住。VRAM 没有的专家，CPU 就地计算——GPU 和 CPU 并行，互不等待
SSD   →  28.8G PLE n-gram 表。每 token 只读几行（我们的环境 用 --ple-io ram 锁进内存后归零）

每生成一个词：草稿头先猜 3-5 个 token → 一次前向验证全部 → 平均 2.4-3.2 token/步落袋。MTP 接受率实测 70-96%（代码类任务更高），这就是 80-100 t/s 的直接来源。

2. 双卡流水线而非张量并行

CUDA0 算 0-22 层，CUDA1 算 23-47 层，一个 verify window 只有一次卡间握手。对比 vLLM 的 TP=2：不需要 NCCL allreduce 高速互联，不需要双卡同频，两张卡各自干自己的层——这就是为什么 3090 这种 PCIe 老卡也能高效组队。

3. KV streaming：上下文免费扩容

VRAM 只留最近 32K 的 KV，历史部分放 pinned RAM 按需流式读。代价是 RAM ~13.7KB/token（262K 才 3.6G），换来的是显存让给专家缓存。官方数据：262K 上下文下这个设计让 Q2_0 从 50.9 提速到 62.6 t/s。 如果有需要还可用Yarn扩展到512K或 1M。

4. 自适应专家缓存

引擎按 expert profile（预训练统计的热度排名）初始摆放，运行中按你的实际对话持续换血——中文对话热起来的专家和写代码热起来的专家是两批人。实测命中率从 92.7% 爬到 99.2%，命中即免 CPU，这就是为什么跑得越久越快。

5. 为什么"感觉不到瓶颈"

decode 时的关键路径是：GPU 算缓存专家（~13ms）‖ CPU 算未命中专家（~75ms）‖（偶发）SSD 读 PLE 行。三条路并行，最长的那条决定速度。PLE 锁内存后，CPU 专家计算成为唯一长杆——而这正好吃满你的 CPU。

三、搭建路径（可复现）

硬件清单

• CPU：EPYC 7B13（谷歌定制，64C，Zen3）——CPU 越多 CPU-专家路径越快，核就是显存外的第二"算力池"
• 内存：247G DDR4-2133 八通道——容量 > 频率，八通道带宽是专家加载速度的保证
• GPU：2×3090 24G（不需要 NVLink！层切分不吃 P2P）
• 盘：NVMe（放 GGUF + PLE 表；PLE 锁内存后 SSD 只在启动时被读）

软件步骤

1. 编译引擎（CUDA 12.9 + GCC15 的坑：必须 CUDAHOSTCXX/CMAKE_CUDA_HOST_COMPILER 双指定 g++-14）：

cmake -B build -DSTRATA_ENABLE_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=86 ...
cmake --build build -j 48

2. 模型三条件（任何微调版能不能上，看这三条）：

   • GGUF arch = qwen4exp（官方 GSQ-RCO 系或其微调）
   • 每层专家不被分片切开（跨片要先 merge）
   • 小投影转 BF16（第三方量化用 tools/iq_pack.py --compat-bf16 打包，专家权重不动）
   • 格式兼容性别信文档，直接跑 ./build/native_expert_parity <shard1> 0 2——0 failures 就能上（IQ4_XS 就是这么实测出来的，官方文档还说没验证）

3. 打包 + 配置：iq_pack.py 生成 pack（index/dense/tokenizer，约 1.5G），配置 JSON 指定 pack/native/ple-gguf/MTP/层切分

4. 服务：python3 -m serve.server --engine strata --config xxx.json --port 8025，自带 Web Chat/Monitor/OpenAI API/Anthropic API/视觉（mmproj + strata-vision helper）

5. 三个必开参数：

   • --kv-resident 32768（KV streaming，长上下文提速 + 显存让位）
   • --ple-io ram（PLE 表锁内存，decode 尾延迟稳）不开占用70G内存，开了占用105G左右
   • --layer-split auto（双卡自动切层）

6. 上下文三档热切换（本机的做法）：131K / 262K 原生 / 512K YaRN（--rope-scaling yarn --rope-scale 2.0），一个脚本管三档配置，切换时同步 new-api 元数据

踩坑速查

https://huggingface.co/orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF/tree/main 模型下载地址，考虑到CPU性能，我下载的是IQ4_XS，相对IQ3，质量稍好。

• hf 下载 >50G 文件报 hf_xet → aria2c 直拉 resolve 链接
• gated repo 要 HF 授权 + token，hf-mirror 对 lfs.oid 打码 → 手动 SHA256 不可用，用 hf 幂等重跑验证完整性
• new-api 建渠道要三件套：channels + abilities + models（缺 abilities 503，缺 models 前端上下文显示错）
• omp/pi 接本地模型：纯文本模型必须声明 input: ["text"]，否则 agent 会发图卡死
• 编程，HEMMES要在 NEW API中间层配好采样参数，否则容易出现疯狂思考几十分钟，产出却少得可怜的怪象：

• 思考循环治理：reasoning_effort（none/low/medium/high）+ reasoning_budget_tokens 硬预算，服务端 shared-settings 全局注入

四、它为什么是"本地模型之王"

不是单点快，是整个账本没有浪费：

• 显存 24G X2 → 只放热的东西，命中率 90% +
• 内存 110G → 全部专家 + PLE，一分不闲
• CPU 64 核 → 未命中专家的就地计算，每核吃满
• SSD → 只在启动时发力
• 模型侧 → MoE 稀疏激活 + MTP 自投机 + QSA 稀疏注意力，每一层架构都在为"消费级硬件"让路

别的方案在"怎么把模型塞进显存"上卷，Strata 在"怎么让整个 PC 变成一台异构推理机"上卷。它不是把服务器模型硬塞进桌面，而是把桌面变成了一台小服务器。

缺点也说清楚：不支持 AVX-512 的 CPU 少一档内核速度（AVX2 补齐了大半）；层切分流水线让单卡用户少一半专家缓存；量化到 IQ4_XS 后数学类推理略逊满血。但对本地部署的真实负载——agent 编码、长文档、日常对话——这些短板都不在关键路径上。

以上全部数据来自本机实测（2026-10），引擎与模型均开源可复现。欢迎交流不同硬件下的账本。

IQ4_XS 带视觉 正在编程过程中：

IQ3_S 速度还要更快一些

希望作者抓紧迭代，加入103G的UD_IQ4_XS，KLD和PPL可以进一步优化！

这个作者简直是天才。以前用27B还担心烧坏显卡，现在闭眼限240-250W，显卡，CPU，内存一起发力，长时间开着写程序，显卡温度也不会升高！质量还有保证。本地LLM跑中长程任务 时代真的要来了！