RTX PRO 4500 单卡跑 125B MoE：Strata + Qwen3.8-Flash-Next 实测 189 tok/s、262K 满上下文零崩溃——50 分钟从零到可用全纪录

[清风明月]

引言

我是一个本地大模型玩家，机器是一台 X570 平台：RTX PRO 4500 Blackwell（32GB）+ Ryzen 7 3700X + 60GB 内存。之前主力是 27B 级别的本地模型（SGLang），一直眼馋 Qwen3.8-Flash-Next 这个 125B 的 MoE——但 125B 意味着"没有 96GB 显存别想碰"，直到 Strata 出现。

Strata（Niko1221/Strata，MIT 开源）是专为这一个模型写的推理引擎：把 24,576 个专家按三层摆放——热专家进显存、全部专家进内存、n-gram 查表进 SSD——让 12-32GB 的游戏卡也能跑 125B。10 月初它冲上 HN 首页（900+ 分），社区帖我也翻了个遍，国庆假期第六天，我花了一个下午把它从零装到能用。

最值得讲的一组数字：我这张 32GB 卡上，短对话 decode 跑出 189 tok/s；升级到 262K 满上下文后，用 24.5 万 token 的长文实测零崩溃、埋词召回 3/3 全中。安装全程约 50 分钟（含编译、68GB 模型下载与校验）。

这篇帖子把全流程、全部实测数据、踩过的坑、不要做的事一次写全。所有数字都附测法，欢迎复现。

目录

1. 先给结论
2. 名词白话解释
3. 我的环境
4. 从零到可用：安装流程（可直接抄）
5. 装完之后：接进自己的工作流
6. 最重要机制：125B 是怎么塞进 32GB 显存的
7. 实测数据（全附测法）
8. 踩过的 5 个坑
9. 不要做的事
10. 复现附录与未测项
11. 晚间更新：agent 对打补测 + 原主力退役

先给结论

表 1 · 最终成绩单

维度	结果	备注
模型	Qwen3.8-Flash-Next IQ2_XS（125B 总参 / 6B 激活）	68GB 权重，双文件 SHA256 对照官方全过
设备	RTX PRO 4500 Blackwell 32GB 单卡	游戏卡/工作站卡通吃（本项目 NVIDIA/AMD 都支持）
短对话速度	decode 189 t/s（16K-32K 档）	比官方 12GB 卡标线（79）高一倍多
长文速度	127K 上下文 186.8 t/s；245K 深度 85.1 t/s	长上下文衰减系行业通性，官方同深度标线 ~53
上下文	262K 满血（模型原生上限）	24.5 万 token 长文实测零崩溃
召回	needle 全绿：32K/128K/250K 各深度 100%	90% 深度埋词也能捞出来
思考模式	支持 off/low/medium/high	陷阱题答对，思维链完整
资源占用	显存 ~33.2/34.2 GB（十进）、内存 47/60GB	显存"看起来"97% 是设计（见机制节）
稳定性	全程零崩溃（含 4 连发 24.5 万 token 压力）	尚未做小时级长稳（见未测项）
agent 任务补充实测	13.3 秒完成真代码任务、一次过隐藏验收；对照原主力 27B 快 6.9×	2026-10-06 晚补测，见文末更新

表 2 · 这次实践的流水账

环节	耗时	说明
硬件自检	1 分钟	官方自带 --check
CUDA 13.0 安装	15 分钟	Ubuntu 26.04 需手动路径（见坑 1）
引擎编译	5 分钟	撞 glibc 坑，修复后全绿（见坑 2）
模型下载+校验	13 分钟	68GB，换国内源后 120MB/s（见坑 3）
配置补全（MTP+打包）	7 分钟	自动流程
启动+首答	2 分钟	35.5GB 以 3.08GiB/s 载入内存
全套实测	20 分钟	五档压测+召回+思考
262K 升级+验证	15 分钟	含 24.5 万 token 四次压力测试
agent 对打补测	10 分钟	同题同协议 vs 原主力 27B，见文末更新

名词白话解释

词	白话解释
量化（IQ2_XS）	把模型权重压缩到约 2 比特的格式。体积省 8 倍，质量小损（不同压缩档质量不同，按内存选）
MTP 推测解码	模型自带的"抢答小助手"先猜后面几个词，大头模型一次核对——猜中就赚了，输出质量不变。实测约 1.6-1.8 倍加速
上下文 / 262K	模型一次能"记住"的文本量。262K token ≈ 19 万汉字，够塞一整本长篇小说
prefill / decode	两个阶段的吐字速度：prefill = 读你发的内容（读入越慢首答越久）；decode = 一个字一个字写答案的速度

我的环境

项	值
GPU	NVIDIA RTX PRO 4500 Blackwell，32GB GDDR7，驱动 595.91.07
CPU	AMD Ryzen 7 3700X（8 核 16 线程，AVX2，无 AVX-512——官方说 AVX-512 机器更快，我这台是普通款）
内存	60GB DDR4
磁盘	NVMe SSD（模型放根盘，1.3TB 空闲）
系统	Ubuntu 26.04
CUDA	13.0（为编译引擎装的，与系统原有 12.9 共存）
引擎	Strata v0.1.39（源码编译）
模型	Qwen3.8-Flash-Next GSQ-RCO IQ2_XS（68GB，官方推荐档）
上下文	262,144（模型原生拉满）

️ 为什么选 IQ2_XS 而不是更高质量的 IQ3_S？——内存。60GB 机器上的安全档是 IQ2_XS（专家 35.5GB）；IQ3_S 的 50GB 专家 + 系统会让 64GB 机器贴边。如果你有 96GB+ 内存，直接上 IQ3_S（质量更高，速度低一档）。社区有人实测过：更激进的量化（IQ3_S→IQ3_XXS）快 14-23%，但输出 token 是 2.7 倍（过度思考、反复返工），端到端反而慢 2.4 倍——所以别只看压缩率。

从零到可用：安装流程（可直接抄）

# 1. 克隆 + 硬件自检（不装任何东西，1 分钟）
git clone https://github.com/Niko1221/Strata.git && cd Strata
./setup.sh --check
# 期望末行：This PC can run Strata. 且列出各量化档的 RAM 适配

# 2. CUDA Toolkit 13.0（Ubuntu 22.04/24.04 可跳过——setup 自动装；
#    26.04 需手动，见我踩的坑 1/2）
# 3. 非交互安装（下载 68GB + 编译引擎，全程后台跑，可断点续传）
./setup.sh --yes --family qwen --model IQ2_XS --context 262144 --no-start
#   ⚠️ 注意：改设置重跑时不要漏 --model（见我踩的坑 3）

# 4. 启动（前台进程，关闭即停）
./run-iq2_xs.sh
# 浏览器自动开 http://127.0.0.1:8080

几个设计上良心的地方（实测确认）：

• 下载断点续传、步骤跳过（已完成步骤重跑时秒过）
• 首次启动约 2 分钟（加载 35.5GB 到内存 + 预热显卡缓存），之后重启 25 秒
• 自带 Web UI（Chat / Monitor / About 三个页签，Monitor 能实时看 GPU、缓存命中率、token 速度）
• OpenAI / Anthropic / Responses 三种 API 全兼容——本地任何客户端直接接

装完之后：接进自己的工作流

光能跑不算数，我把它接进了自己的三套体系（都实测通过）：

集成	方式	实测
systemd 服务化	strata.service（user 级）	️ 必须配 LimitMEMLOCK=infinity（专家要锁 35.5GB 内存，systemd 默认只给 8MiB）；25 秒就绪
一键切换	个人切换脚本新增 strata 目标（现编号 1=strata）	与 SGLang 27B / ComfyUI 显存互斥自动生效；切换实测：起 30s / 互切 75s / 切回 55s
dsh 客户端	新增 local-strata 渠道	关键配置：thinkingFormat: openai（它直接吃标准 reasoning_effort 字段）；headless 实测 12.9 秒完成任务

最重要机制：125B 是怎么塞进 32GB 显存的

很多人第一反应是"32GB 显存跑 125B？骗人的吧"。原理其实很朴素，官方 paper 讲得很清楚，我用厨房打个比方：

这台机器被当成一个"异构厨房"用：

层	放什么	我这台实配
灶台（VRAM 32GB）	每道菜都要用的（注意力/路由器/输出头，约 3.5GB）+ 最热门的专家缓存——它自己会学你聊什么、动态换血	18,119 个专家常驻（约 26GB），命中率 95-99%
🧺 备菜台（RAM 60GB）	全部 24,576 个专家（35.5GB）——显卡没有的，CPU 当场算，和显卡同时干活	同时开 7 个 CPU 专家流水线
储物柜（SSD）	一张 28.8GB 的 n-gram 查表，每次只读几行	走系统页面缓存，基本无感

三个关键设计（为什么能"同时"而不是"轮流"）：

1. GPU/CPU 流水线：每层显卡算完把"这轮要用哪 10 个专家"写进一块共享内存（门铃），CPU 不等驱动回调、自旋监听，立刻把显卡没有的专家就地算掉——两边同时进行，谁也不等谁
2. 自适应缓存：显卡上那 18,000 个专家位不是死的，引擎每几轮就把"你这段对话最常点的专家"换进来——用得越久命中率越高
3. 多 token 验证：MTP 一次猜 4 个词、大头模型一次全核对，猜中的全留下——所以"每写一个词要读几十 GB"的成本被摊薄了

由此引出一个所有人都会误解的现象：我装好后看到显存占用 33.2/34.2 GB（97%）也慌了一下——这是设计状态，不是极限。引擎的策略就是"把剩余显存全部填成专家缓存换速度"（启动日志原话："423 MiB of VRAM free with everything loaded"）。我后来升级 262K 上下文实测：显存代价只有缓存缩 1%（18,314→18,119 槽）——因为长上下文的 KV 记忆主体放在内存里（+1GB），根本不吃显存。所以**"97% 占用"和"能开多大上下文"是两个独立问题**。

实测数据（全附测法）

测法说明：全部用 OpenAI 兼容接口、streaming 计时、temperature=0、reasoning off（思考模式单独测）。长短文任务为"编号记录复述"类（含固定句式重复文本），这类任务对推测解码友好，数字偏乐观——预计真实代码/agent 任务会有出入，见未测项。每条数据都由我机器上的基准脚本自动采集。

表 3 · 五档压力实测（131K 配置时代）

实际 prompt tokens	prefill t/s	decode t/s	召回判断题
5,501	2,789	142.2
22,576	3,514	189.1
46,966	5,291	189.0
96,106	5,138	179.7
127,561	8,828	186.8

表 4 · 262K 满上下文验证（升级后实测）

项目	数据
245,308 token 深度压测	prefill 3,263 t/s、decode 85.1 t/s、 零崩溃、 找回全部编号
244K 深度召回	3/3 找到（明细见表 5）
升级后短任务复核	4K 档 144.5 t/s（与升级前持平，零损失）
资源增量	内存 +1GB、显存缓存 -1%、重启 25 秒

表 5 · needle 召回测试（官方工具 needle_bench.py，埋词位置 10%/50%/90% 三档）

上下文长度	结果	耗时/次
32K	3/3	5-10 秒
128K	3/3	34-38 秒
250K	3/3	73-77 秒

思考模式：经典陷阱题（"17 只羊除了 9 只都跑了还剩几只"） 答对，思维链走 reasoning_content 字段完整返回，总耗时 1.5 秒。

表 6 · 横向对照（同模型不同硬件）

机器	量化	decode @128K	来源
本机 RTX PRO 4500 32GB	IQ2_XS	186.8 t/s	本帖实测
RTX 5090（同量化）	IQ2_XS	165 t/s	社区报告
RTX 5070 12GB（官方基准机）	IQ2_XS	63 t/s	官方数据
同款 4500 32GB（512GB 内存机）	IQ3_S	116 t/s	社区报告

我这张卡能跑到 5090 之上，解释一下：32GB 显存对 IQ2_XS 这个体积的模型"缓存命中率"极高（95-99%），而 IQ2_XS 本身又是最轻的档——两个因素叠加。5090 那台跑的是同一量化但上下文策略不同。

踩过的 5 个坑

坑 1：Ubuntu 26.04 不在官方自动安装支持列表

症状：setup.sh 到第 4 步停住——"the CUDA Toolkit can be installed automatically on Ubuntu 22.04 / 24.04 only"，要求手动装 CUDA 13.0。
根因：项目自动安装 CUDA 的路径只覆盖 22.04/24.04；26.04 太新。
修复：手动走等效路径（cuda-keyring 用 ubuntu2404 源 + apt install cuda-toolkit-13-0，约 6GB/10 分钟）。装完把系统默认 cuda 软链接恢复指向旧版（用 update-alternatives --set），不影响引擎——它从 nvcc 绝对路径找工作，不依赖全局软链。

坑 2：glibc 2.43 + CUDA 头文件冲突（26.04 独有，最硬的一个）

症状：引擎编译第一步（CMake 探测编译器）就挂：error: exception specification is incompatible with that of previous function "rsqrtf"。
根因：Ubuntu 26.04 的 glibc 2.43 给 rsqrt/rsqrtf 加了 noexcept 标记，与 CUDA 13.0 头文件的旧声明打架——系统头文件级别的冲突，换编译器版本没用（网上有人说降级 gcc，实测无效）。
修复：llama.cpp 官方文档给的正解——给 CUDA 安装目录的头文件打一个小补丁（备份后，给 rsqrt/rsqrtf 两行声明加上 noexcept (true)），编译 5 分钟全绿。（项目仓库里 pinned 的 llama.cpp 文档正好写了这个 issue，而且是社区 issue 里维护者确认过的方案。）

坑 3：官方源下载慢 600 倍——真正的解法是换源

症状：从 HuggingFace 官方源拉 68GB 模型，速度只有 0.2-4MB/s（我这出口走代理跨境），aria2 多线程也只能 2-4MB/s，按这个速度要 7 小时。
根因：不是工具问题，是到 HF 的线路慢（跨境瓶颈）。我测试对比过：内置下载器 0.2MB/s、aria2 八线程 2.6MB/s、hf-xet 3.8MB/s——都受限。
修复：换 ModelScope（国内源）——实测 120MB/s，68GB 只要 11 分钟。安全性与官方源等价：MS 的存储对象 ID 就是文件 SHA256 本体，且下载后我用双文件 SHA256 对照 HF 官方发布值全部一致。连 MTP 层（另一种张量范围下载）也切到了 MS 通道继续沿用。

结论：跨境的锅别让工具背。测速 → 换源 → 校验（SHA256 对齐官方），比折腾多线程参数高效得多。

坑 4：aria2 完成后偶发不退出 + 一个隐藏的配置坑

症状：下载完成的 aria2 进程停在后台不退出（文件其实已完整）。
根因 + 修复：进程停在收尾阶段，发 SIGTERM 后正常退（文件+控制文件都已就绪，无损）。另发现一个坑：aria2 配置里有 enable-rpc=true（6800 端口），同一时刻只能跑一个 aria2 实例——并发调用第二个会绑定失败秒退；另外配置里的下载目录会覆盖当前目录，用 -d 显式指定才稳妥。

坑 5：中文填充的"名义上下文"和实际 token 数差 47%

症状：测 262K 满上下文时，标称 131K 的测试集实际打进去 19.2 万 token，直接被服务端 400 拒绝——不是引擎的问题，是测试脚本按"每行 18 token"估算、中文实际每行 26+ token。
修复：按实测比例（×1.47）反推目标值重测。这也是所有做上下文测试的人都会踩的坑——永远以服务端返回的 prompt_tokens 为准，别信标称值。

不要做的事

别做	为什么
在 26.04 上为了 glibc 冲突折腾 gcc 版本/降级系统库	冲突在系统头文件层，换编译器没用；正解是打 CUDA 头补丁（5 分钟）
给官方源硬扛慢速下载	换国内源 + SHA256 校验，600 倍速度差
看到显存 97% 就断定"开不了大上下文"	97% 是设计（缓存填满换速度），262K 实测只多占 1% 缓存
跑 setup.sh --setup 改设置时不带 --model	它会把流程理解成"装新模型"，自动下推荐档（我这边撞到它自动开始下 IQ3_XXS 76GB，幸好及时终止清理）
60GB 内存机硬上 IQ3_S / 强行 512K	内存会贴边/换页，首答从 0.4 秒变分钟级；262K 是这台机器的甜蜜点
把 --ple-io ram（锁页）当必开项盲目抄	那是双卡大内存机的优化；我 60GB 机器装不下（专家+PLE 会爆），且社区 A/B 实测 SSD 版反而略快

复现附录与未测项

复现清单（版本锁定）：

组件	版本/来源
引擎	Strata v0.1.39（GitHub 源码编译）
模型	ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF，IQ2_XS 档（ModelScope 同源下载）
Web UI	http://127.0.0.1:8080（Chat/Monitor/About）
API	http://127.0.0.1:8080/v1（OpenAI 兼容；模型名任意）
关键参数	131K 配置自动生成；262K 仅改 --max-context 一处
实测脚本	官方 needle_bench.py + 自建 streaming 计时基准（TTFT 首 token 时间戳法）

未测项（诚实揭露）：

1. 小时级长稳没跑——目前是"4 连发 24.5 万 token 零崩溃 + 当晚持续可用"，跟生产级长稳还有距离；
2. 表格里所有 decode 数据来自复述型任务（推测解码友好，数字偏乐观）——代码/agent 任务的真实速度未单独测 → 已补测（10-06 晚，见文末「晚间更新」）：真代码 agent 任务 13.3 秒一次通过，折算 ~155 t/s；
3. IQ2_XS 在长程 agent 任务上是否有社区所说的"过度思考/返工"现象——未验证（这是更激进量化的已知风险区，我暂时都用于对话和长文）；
4. 视觉（图片输入）没开——32GB 卡开视觉会占 ~1.4GB 显存，我纯文本用不上；
5. --calibrate（官方 NVIDIA 自动调参）没跑——据说还能再快几个 %，留作下次折腾。

2026-10-06 晚间更新：agent 对打补测 + 我把原来的主力撤了

补测：真代码 agent 任务，Strata vs 原主力 27B

表 3 的数据是复述型任务（我当时自己就标注了「数字偏乐观、agent 任务未测」）。晚上把这个未测项补上了——两个模型跑同一道真实的 agent 题：

题目：实现一个线程安全的 LRU + TTL 缓存模块（自动过期、异常校验），并自带 pytest 测试。
协议：同一提示词、temperature=0、两边都开 medium 思考（各按自己的接口形态）、交付给同一套隐藏验收测试（模型看不到）+ 最多两轮反馈修复。
测法：端到端计时（发请求→完整响应）、服务端 usage 计数、reasoning_content 字符数，全自动采集。

表 7 · agent 对打（同题同协议）

维度	Strata IQ2_XS（125B）	原主力 27B NVFP4
验收结果	一次通过（+自测全绿）	一次通过（+自测全绿）
端到端耗时	13.3 秒	91.2 秒（6.9×）
输出量	2,057 tokens	4,494 tokens
思考量	1,021 字符	6,205 字符（6.1×）
折算吞吐	~155 t/s	~49 t/s
产物质量	教科书级（OrderedDict + 锁 + 惰性过期）	教科书级（同构实现，注释更密）

两点观察：

1. 质量打平：两边都一次过隐藏验收，实现方式惊人地相似；125B 的 IQ2_XS 没有出现任何「量化过头」的迹象（至少这一题）。
2. 差距比 benchmark 更大：agent 是「多轮往返」模式——同样跑 20 轮的任务链，27B 要 30 分钟，Strata 只要 4 分半；再加上 262K vs 131K 的上下文差距，长会话优势只会更明显。27B 那个「思考啰嗦」的老毛病（6.1 倍思考量）在这种对比下被彻底放大了。

️ 诚实声明：n=1、单题中等复杂度、超长任务链未测——这是方向性结论，不是终审。但它是真代码 + 隐藏验收，比复述型任务可信得多。

顺便：原 27B 主力退役

对打当晚就做了决定：SGLang 27B / A3B 全部退役，Strata 升为主力。动作：

• 27B / A3B / 投机解码草稿模型全部删除——释放 46.6GB 磁盘（想回来随时能重下，源都在）
• Strata 配了 systemd 服务（不开机自启）、接入一键切换脚本（显存互斥自动处理）
• 在一台 32GB 显存的机器上，单卡近 190 tok/s 的 125B 大过 27B——2026 年的本地部署格局是真变天了

一句话总结：125B 级别的模型，2026 年真的可以在单张 32GB 游戏卡上跑到近 190 tok/s、开满 262K 上下文、零崩溃——这不是"能跑"的 Demo，是日常可用的生产力。感谢 Niko1221 写出这个引擎，也感谢社区把坑都趟平了。

---

*本文所有数据来自作者机器实测（2026-10-06）

[johnnybegood]

@清风明月 说:

Qwen3.8-Flash-Next IQ2_XS（125B 总参 / 6B 激活）

这么好的卡，跑 IQ2_XS 模型， 真是极度的浪费，除非你确实需要这么快的速度才够用。 我3090跑的还是 IQ4 呢，也能到100多tok/s ， 建议直接跑IQ4 吧。

[Xiaoyong S]

@johnnybegood 说:

@清风明月 说:

Qwen3.8-Flash-Next IQ2_XS（125B 总参 / 6B 激活）

这么好的卡，跑 IQ2_XS 模型， 真是极度的浪费，除非你确实需要这么快的速度才够用。 我3090跑的还是 IQ4 呢，也能到100多tok/s ， 建议直接跑IQ4 吧。

是不是因为系统RAM只有60GB的原因

[懒人烘培]

应该是内存少的原因，我7900XTX都跑IQ3_XXS

[清风明月]

@johnnybegood 确实内存不多，只能IQ2的试试水。

[清风明月]

@Xiaoyong-S 是的，内存太小，现在购入大内存实在不划算，只能先将就一下了。

[terry]

帖子质量很高，才看到，下次配图，别总发文字，对论坛不好。

[Xiaote]

版主审定：本帖设为精华，作者 +5 积分奖励，希望再接再厉！

奖励凭证：精华 +5 分 · 编号 f2169-2362-1（系统自动发放，显示稍有延迟）

[清风明月]

硬件就不晒了，老机箱的配置，只换了显卡，原32GB内存再加了32GB内存。晒一张这个模型驱动deepseekharness的截图吧！

[清风明月]

另外，我为deepseekharness安装了记忆系统，让dsh也拥有跨会话长期记忆了。