摘要：本文记录了在 RTX 5070 Ti 与 AMD 9800X3D 平台上，将主力本地模型从 Qwen3.6-27B (Dense) 升级至 35B-A3B (MoE) 的完整调优过程、性能实测数据以及踩坑实录。实测表明，35B MoE 在速度、显存和上下文上实现了对 27B 的全面碾压。

一、 硬件与测试环境
核心硬件：
CPU：AMD Ryzen 7 9800X3D (8核16线程，96MB 超大 L3 缓存)
GPU：NVIDIA RTX 5070 Ti (16GB GDDR7 显存)
内存：32GB DDR5-6000
软件与模型：
系统：Ubuntu 24.04 LTS / CUDA 12.8 / 驱动 595.71.05
推理引擎：llama.cpp (CUDA 编译版)
对比模型 A：Qwen3.6-27B-Q4_K_M (密集架构，16 GiB)
对比模型 B：Qwen3.6-35B-A3B-UD-Q4_K_M (MoE架构，3B 激活/步，20.6 GiB)

二、 核心参数与“反直觉”的显存表现
在将总参数量更大的 35B MoE 塞进 16GB 显存时，我们遇到了一个极其反直觉的现象：35B 的显存占用竟然比 27B 更低！
27B Dense 配置（优化后）：
GPU 层数：-ngl 50（全部 50 层卸载至 GPU）
上下文：98K
Flash Attention：开启
显存占用：15,048 MiB（空闲 1,255 MiB）
35B-A3B MoE 配置（稳定版）：
GPU 层数：-ngl 26（26 层在 GPU，14 层 offload 到 CPU）
上下文：128K
Flash Attention：关闭（踩坑后妥协）
显存占用：14,826 MiB（空闲 1,477 MiB）
显存表现解析：
虽然 35B MoE 的模型文件更大（20.6 GiB），但由于仅 26 层 offload 到 GPU，且 MoE 架构在注意力层的设计差异，其实际显存占用反而比 27B 全层密集模型低了 222 MiB。这多出来的显存余量，让我们成功将上下文从 98K 提升到了 128K！

三、 推理速度实测：MoE 架构的降维打击
得益于 MoE 架构“每次仅激活 3B 参数”的物理特性，35B-A3B 在推理速度上对 27B 形成了降维打击。

1. 短 Prompt 场景（22 tokens）
   首字耗时 (TTFT)：27B 为 0.52s，35B 为 0.24s（提速 2.2 倍）
   Prefill 速度：27B 为 42.7 t/s，35B 为 77.3 t/s（提速 1.8 倍）
   Decode 生成速度：27B 为 12.7 t/s，35B 为 48.0 t/s（狂飙 3.8 倍）
2. 长 Prompt 场景（266 tokens）
   Prefill 速度：27B 为 507 t/s，35B 为 713 t/s（提速 1.4 倍）
   Decode 生成速度：27B 为 13.3 t/s，35B 为 51.7 t/s（狂飙 3.9 倍）
   单 Token 生成延迟：从 75.1 ms 骤降至 19.3 ms（降低 74%）
   速度解析：
   在生成阶段（Decode），GPU 必须读取模型权重。27B 需要读取 27B 的完整权重，而 35B MoE 仅需读取 3B 的激活权重。在 RTX 5070 Ti 固定的显存带宽下，读取数据量减少为原来的 1/9，理论速度上限大幅提升。实测 3.8 倍的速度提升，完美印证了 MoE 架构在消费级显卡上的物理优势。

四、 避坑指南：Flash Attention 的兼容性地雷
在测试 35B MoE 时，我们遇到了一个严重的兼容性问题，这也是本文最有价值的“排雷”经验：
崩溃现象：
当尝试使用 -ngl 28 并开启 Flash Attention (-fa on) 时，llama.cpp 在启动阶段直接崩溃（CUDA flash attention kernel 初始化失败）。
原因分析：
llama.cpp 的 Flash Attention 实现主要针对标准的 Dense Transformer 进行了高度优化。Qwen 的 MoE 架构在注意力层可能包含特殊的路由机制或混合注意力设计，当 GPU 加载层数较高时，MoE 路由计算与 FA 的 CUDA Kernel 在显存分配或线程调度上发生了冲突。
最终解决方案：
果断放弃 Flash Attention，并将 GPU 卸载层数微调至 -ngl 26。
稳定配置：-ngl 26 -c 131072 --cache-type-k q4_0 --cache-type-v q4_0（无 -fa 参数）。
注：虽然关闭 FA 会稍微增加 KV Cache 显存占用，但 35B MoE 本身显存余量充足（1.48 GiB），完全扛得住。

五、 综合结论与部署建议
经过 6 个维度的严苛对比，35B-A3B 在显存、上下文、Prefill 速度、Decode 速度、TTFT 上全面压倒 27B。
最终结论：
在 16GB 显存的 RTX 5070 Ti 上，35B-A3B MoE 应当全面取代 27B Dense，成为本地子 Agent 的绝对主力。 在四项核心指标全部更优的情况下，没有理由继续留恋 27B。
MoE 的缺点是“局部专家各自为战”。在面对需要极度严密、跨越几十个步骤的深层逻辑推导（例如：极其复杂的数学证明、或者需要全局视角的超大型架构重构）时，27B Dense 模型因为“所有参数都在同时参与每一次计算”，其逻辑连贯性有时会略好于同级别的 MoE。

给 16GB 显存玩家的部署建议：
拥抱 MoE 架构：在显存受限的消费级显卡上，MoE 是兼顾“大模型智商（35B 总参数）”与“极速推理（3B 激活参数）”的唯一解。
善用 9800X3D 的 L3 缓存：将 14 层 offload 到 CPU 并非性能瓶颈。9800X3D 的 96MB L3 缓存足以吞下 3B 的激活参数，CPU 部分的推理几乎零延迟。
警惕 FA 兼容性：在跑 MoE 模型时，如果遇到 CUDA Kernel 崩溃，请第一时间尝试关闭 Flash Attention 并微调 -ngl 参数。

启动命令参考：
#!/bin/bash
MODEL_PATH="$HOME/Downloads/Qwen3.5-35B-A3B-UD-Q4_K_M.gguf" # 请确认实际文件名
SERVER_BIN="$HOME/llama.cpp/build/bin/llama-server"

"$SERVER_BIN"
-m "$MODEL_PATH"
-ngl 26
-c 131072
--cache-type-k q4_0
--cache-type-v q4_0
-t 8
-b 1024
--port 58080
--host 127.0.0.1