首先申明Qwen3.8‑35B‑A3B‑Distill‑GGUF不是Qwen官方发布的模型， 是Empero将 Qwen3.8 前沿模型蒸馏到 Qwen3.6‑35B‑A3B 的 Mixture‑of‑Experts（MoE）架构版本，提供多种 GGUF 量化文件，可直接用于 llama.cpp、Ollama、LM Studio、Jan、KoboldCpp 等推理框架。

模型特点：

• 35B 总参数
• 每 token 仅激活约 3B 参数（MoE 稀疏）
• 推理速度显著快于同体量稠密模型

🧠 架构细节

• 30 层 Gated DeltaNet
• 10 层 全注意力层
• 256 个专家，每 token 路由 8 个专家

️ 使用前注意

加载此模型需要 支持 Qwen3.6 / Gated DeltaNet MoE 的新版 llama.cpp。
旧版本会直接加载失败。

GGUF 文件列表（量化方式与大小）

VRAM / RAM 需求指南

MoE 架构让 CPU 推理比稠密模型更可行。

推理示例（llama.cpp）

文本推理

llama-cli -m Qwen3.8-35B-A3B-Q4_K_M.gguf \
  --temp 0.6 --top-p 0.95 --top-k 20 \
  -n 16384 -cnv

模型属于 推理模型（reasoning model），回答开头会带结构化块，需要在最终输出中清理掉。

图像推理（Vision）

llama-mtmd-cli \
  -m Qwen3.8-35B-A3B-Q4_K_M.gguf \
  --mmproj mmproj-Qwen3.8-35B-A3B-F16.gguf \
  --image photo.jpg \
  -p "Describe this image."

视觉模型来自 Qwen3.6‑35B‑A3B，蒸馏过程未评估视觉能力。

🧩 Ollama / LM Studio / Jan / KoboldCpp

直接加载 GGUF 文件即可，聊天模板已内置。
推荐采样参数：temperature=0.6, top_p=0.95, top_k=20

校验下载

下载地址：Qwen3.8-35B-A3B-Distill-GGUF

sha256sum -c SHA256SUMS --ignore-missing

许可

模型权重使用 Apache‑2.0 许可。