分类：AI硬件
标签：7900xtx、x99、内存通道、ddr4、qwen-flash、strata
一句话：同一张 7900 XTX，硬件上做三件便宜事（内存双通道→四通道、CPU 6 核→14 核、加一张亮机卡让 XTX 的 24G 全部用于计算），再换用 Strata 引擎，单卡 24G 本地大模型辅助编程就从"能玩"变成了"有生产力"。

0. 结论先行

硬件党先看：本文最有价值的不是软件配置，而是三个便宜且立竿见影的硬件点——

1. 内存四个通道插满（原来是双通道，MoE 解码吃内存带宽）；
2. CPU 换多核（6 核 → 14 核，未命中显存的专家由 CPU 并行算）；
3. 加一张亮机卡（便宜的 R7 240 接显示器，7900 XTX 的 24G 全部留给计算）。

三项叠加 + 引擎优化后，单卡 24G 实测：预填充 1460-1614 tok/s、解码 40-55 tok/s，还能看图、跑 262K、切无审查。下面给出每一步的实测数据。

• 单卡 RX 7900 XTX 24G + 64G DDR4（四通道）+ 14 核 Xeon，跑 Qwen3.8-Flash-Next（125B 总参 / 6B 激活 / +51B n-gram 表 / +4B MTP），本机实测：
  • 预填充：1460-1614 tok/s（15K-32K 提示词，冷启动）
  • 解码：40-55 tok/s（常规思考负载）
  • 原生 262,144 上下文可用，视觉可用，KV 占用极小
• 引擎：这个模型必须用专为它写的 Strata；llama.cpp 只能到 10 tok/s（详见第 3 节，主因是 CPU/GPU 顺序执行，叠加当时内存双通道的带宽瓶颈）。
• 硬件三个关键点：内存四通道、CPU 多核、独立亮机卡（第 1 节，附本机升级前后实测）。
• 引擎三个必须自己补的点：gfx11 WMMA 内核、hipBLASLt 本机调优表、CPU 视觉助手（第 6/7 节）。
• 主力量化选 官方 IQ3_S：不是看参数拍脑袋，而是用四个一次性生成任务 + 多轮改错实测挑出来的（第 4 节）。
• 编程主力选 Flash-Next 而不是 27B：编程实测 Flash-Next（MoE）明显优于 27B（稠密）——MoE 每 token 只激活 6B，速度与质量兼得；27B 留给需要严密逻辑推理的场景。两者配合，单机单卡 24G 跑本地 LLM 辅助编程已具备真实生产力（第 4.4 节）。

1. 硬件配置与三个关键细节（附实测对比）

1.1 配置清单（当前）

1.2 细节一：内存从双通道改成四通道

• 这台机器一开始内存插错了，把4根16G－DDR4的插满在CPU的同一侧结果就成了双通道，这时的内存带宽就少了一半，后来发现这问题后才改成了正确的如下面附图中的插法，所有4根内存要插到8根内存插槽的A１、B１、Ｃ１和Ｄ１处才能形成４通道，内存带宽就几近翻倍。MoE 模型每 token 只激活 6B，但解码时要流式读大量专家权重，是典型的内存带宽敏感负载。
• DDR4-2133 双通道理论约 34 GB/s，四通道约 68 GB/s，直接翻倍。
• 反推当时的瓶颈：llama.cpp 时代 10.3 tok/s × 每 token 约 3.2GB（6B 激活 @4.27bpw）≈ 33 GB/s，几乎正好贴着双通道 DDR4-2133 的实际带宽上限；同时 CPU 满载、GPU 空闲——即"CPU 在等内存"。
• 结论：跑 MoE 先把四个通道插满，比换显卡便宜得多。

![四通道内存的完整插法]

![内存通道 A1 和 B1]

![内存通道 C1 和 D1]

1.3 细节二：CPU 从 6 核换成 14 核

• Strata 默认 CPU 线程 = 物理核数 − 1（6 核时 5 个 worker，14 核时 13 个）。
• 未命中 GPU 缓存的专家由 CPU 并行计算，核数直接决定这部分吞吐。
• 本机实测（同一引擎、同一模型 IQ3_XXS，短提示解码最吃 CPU）：25.6-29.4 tok/s（6C/12T）→ 47.0 tok/s（14C/28T）。
• 注意要用物理核：全开超线程反而争用。

1.4 细节三：独立亮机卡，让 7900 XTX 的 24G 全部用于计算

• XTX 若同时驱动桌面/浏览器，桌面合成、浏览器 GPU 进程、CEF 会吃掉 1-3G 显存；而我们要缓存 8700-10500 个专家槽，显存本就紧张。
• 做法：一张便宜的 R7 240 接显示器，XTX 只做计算（设备列表 Vulkan0=R7 200、Vulkan1=7900 XTX，启动显式指定计算卡）。
• 收益：24G 几乎全部给专家缓存 + KV + 计算缓冲，长上下文更稳。

![7900 XTX 与亮机卡]

1.5 硬件/引擎升级前后对比（本机实测）

• A→B：换引擎是主因（同硬件同内存下解码 10.3 → 34-43，约 3-4 倍）。
• B→C：硬件升级 + 引擎调优叠加（短提示解码 +60~80%）。
• 说明：本次升级同时改了 CPU 核数、内存通道、引擎版本和专家模式，无法完全解耦；但两项硬件升级方向明确、收益立竿见影。

2. 模型与原理：为什么它能把 51B 的表放 SSD、KV 还极小

核心：正是"51B 表在 SSD + KV 极小"，让 64G 内存的消费级平台能跑 176B 存储量的模型。

3. 引擎选型：llama.cpp vs Strata（本机实测）

结论：llama.cpp 是"能跑"，Strata 才是"能用"；10 t/s 的锅主要是引擎（顺序执行），当时双通道内存又雪上加霜。

4. 量化选择：为什么主力是官方 IQ3_S

4.1 三套量化（本机实测）

4.2 选择依据：四个一次性任务 + 多轮改错实测（不是看参数）

• 一次性生成任务（都是"一次成型"的硬活）：
  1. 复合弓射箭 SVG 动画（拉弓-瞄准-放弦-箭矢抛物线-命中特效）
  2. 鹈鹕土星环骑自行车 SVG 动画（椭圆轨道、端点不翻车、动作连贯）
  3. MACOS 浏览器内操作系统（单文件 HTML/JS 复刻桌面交互）
  4. 3D 赛博朋克风格赛车游戏
• 评判标准：① 一次写出的完成度与可运行性；② 出错后经多轮修改时，对问题的理解力与修正质量（能不能抓住根因、改对地方）。
• 实测结论：IQ3_S 最好，一次成型率高、改错能抓住根因 → 定为主力；IQ3_XXS 略逊但仍可用；无审查版（Orca/RVN）编程明显偏弱，只能当无审查用途，不能当编程主力。

4.3 模型选型踩坑：我们实际下载/试过哪些，哪些不能用

核心经验：只认官方发布或社区反馈好的；来源不明的消融/微调版，很多下载下来就是坑。

选型四条铁律

1. 官方 > 社区 > 未知：官方 ISTA-DASLab 量化零坑；新仓库/0 下载的先观望。
2. 无审查版要分类型：整模微调（Orca）会伤编程；消融（abliterated）本身也有能力回退，再叠加低比特量化更明显（RVN 就是典型）。目前最优解是"官方量化 + 消融张量移植"（SC117），而不是整模微调或重度消融。
3. 下载前查四件事：底模是谁、格式是否兼容（是否需要专用 loader）、体积/内存能否装下、社区反馈如何；门控仓库还要 HF token（匿名直接 401）。
4. 平台限制：AMD 上要确认量化的提示词内核是否支持（huihui UD-Q4_K_XL 就是 NVIDIA-only）。

4.4 编程主力：为什么是 Flash-Next（MoE）而不是 27B（稠密）

• 编程实测：Qwen3.8-Flash-Next 明显优于 Qwen3.8-27B——一次成型率更高，多轮改错时更能抓住根因、改对地方。
• 原因：Flash-Next 是 MoE 专家模型，每 token 只激活 6B，不是稠密全量计算，所以又快又好；27B 是稠密模型，每 token 全量参与。
• 速度对比（本机实测）：Flash-Next 预填充 1460-1614 tok/s、解码 40-55 tok/s；27B 常规解码约 27-34 tok/s。
• 定位：Flash-Next = 编程主力；个别需要特别严密逻辑推理的任务，可用 27B 作为补充。
• 意义：MoE 的"小激活 + 大容量"让消费级 24G 单卡同时拿到速度和智能——单机单卡 24G 跑本地 LLM 辅助编程，已经从"能玩"变成"有生产力"。

5. 实测数据（本机、同题、冷启动）

5.1 三套配置横向对比（Strata 0.1.34 + arena + 14C/28T + 四通道）

（解码数值随草稿接受率波动，同题对比即可；预填充为冷启动首次读取。）

5.2 优化项收益（本机 A/B）

5.3 视觉（CPU 编码器）

• 整请求（图像编码 + 识别 + 生成）约 9 秒，LLM 生成速度不变（图像编码在 CPU，不占显存）。
• 实测能正确读出图中文字并完成计算题。

6. 关键优化：引擎侧

1. WMMA 内核：上游主线 0.1.34 的 WMMA 只支持 gfx12（RDNA4），gfx1100 没有；我们把 gfx11 的 WMMA（PR #260）合并进来，预填充 +35~39%。
2. hipBLASLt 调优表：ROCm 的 hipBLASLt 版本与官方表对不上会整体回退到慢路径。用仓库自带 tools/hip/tune_hipblaslt.cpp 在本机现场生成 38 行表（覆盖官方全部形状），实测回退 0 次，预填充 +20%。
3. pinned 专家 arena：默认 mmap+pageable 慢；改 pinned arena（cudaHostRegister PORTABLE）后预填充 +36%。
4. KV 流式：--kv-resident 32768（32K 在显存，其余进内存）+ 静态专家 profile + --adapt-every 0。
5. 采样必须设：Strata 在客户端不给温度时默认贪心，长思考任务会陷入同一段分析无限重复；固定 temperature 0.6 / top_p 0.95 / top_k 20 解决。
6. MTP 窗口：--mtp-window 65536（长上下文草稿接受率不再掉）。

7. AMD 能力补齐：两个补丁

7.1 CPU 视觉助手（让 AMD 也能看图）

• 官方 Strata 的 AMD/HIP 后端不编译视觉（文档写死 "no images"），但引擎本身支持 --vision + GENI 协议，视觉是独立助手进程（llama.cpp mtmd）。
• 做法：把 tools/vision 用 CPU 模式单独编译出 strata-vision，配置里加 --vision 和 vision 块。三套模型都能识图，且不占显存。

7.2 ple_key 类型补丁（让消融量化能加载）

• 普通 Qwen4Exp GGUF（Orca/RVN/SC117）的 blk.1.ple_key.weight 是 IQ3_XXS/IQ4_XS 类型，引擎原生路径误判，报 incompatible matrix blk.1.ple_key.weight。
• 补丁：native_dense.cpp 的 eligible() 只接受 type 42（Q2_0），其余走 compat-bf16 打包的 BF16 回退。官方 GSQ-RCO 的 ple_key 本就是 BF16，不受影响。

8. 避坑清单

9. 工程化：让它好用

• 三合一启动器：一个菜单切换三套配置（IQ3_S / IQ3_XXS / SC117），自动停旧服务、启动新服务、打开页面、同步 opencode 默认模型；带桌面快捷方式。

• 局域网网关：监听 0.0.0.0:8180，不校验 API key，单并发；第二个人访问立即收到 503 + 中文提示（含当前阶段与已运行秒数）+ Retry-After，而不是静默排队。本机 8080 直连不受限。

• opencode 适配：每个模型独立声明窗口；启动器切档时只改对应模型的窗口，不会互相覆盖；全局自动压缩预留 64K，长会话自动总结，不撞服务端上限。

• SSD 上的 PLE：分片设计把 51B n-gram 表单独放一个分片（28.8G），配合懒加载常驻 SSD，不占内存。

10. 附录：关键参数与仓库

核心启动参数（Strata）

--pack <pack 目录> --native <shard1> --ple-gguf <含 PLE 的分片>
--expert-profile data/expert-profile.bin --expert-cache auto
--prefill auto --spec 4 --spec-min-p 0.5 --mtp <mtp/rt>
--max-context 262144 --kv int8 --kv-resident 32768
--mtp-window 65536 --adapt-every 0
--vision --vram-reserve-mib 1024
环境：STRATA_HIPBLASLT_TUNING=<本机 38 行表>
采样：temperature 0.6 / top_p 0.95 / top_k 20

用到的仓库/资源

• 引擎：Niko1221/Strata（0.1.34；gfx11 WMMA 来自 PR #260）
• 量化：ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF（IQ3_S / IQ3_XXS）
• 无审查：SC117/Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF
• 基座/视觉/MTP：Qwen/Qwen3.8-Flash-Next（官方 mmproj BF16）

致谢：hipBLASLt 调优表与 gfx11 WMMA 是社区贡献；坛内 Strata/AMD 主题帖给了大量参数参考。本文所有数据均为本机实测，不同硬件/驱动会有差异，仅供参考。

本文由本人整理，数据来自本机实际测试日志。欢迎交流指正。