<![CDATA[AMD 官方 MXFP4与社区 INT4，两个量化版本深度评测]]>Qwen3.8-27B 两个量化版本深度评测

对比对象：devan-carlin/Qwen3.8-27B-int4-AutoRound（社区 INT4）vs amd/Qwen3.8-27B-Quark-AWQ-MXFP4（AMD 官方 MXFP4）
测试硬件：AMD Radeon AI PRO R9700（32GB，单卡）

1. 结论速览

维度 结论
模型本体 Qwen3.8-27B 是阿里 Qwen 的 27B 原生多模态（视觉+语言+视频）模型，主打 Agent / 编码 / 研究
两个量化版质量 都很高，GSM8K 恢复率 99%~102%，日常使用几乎无损
INT4（AutoRound） 约 18GB，社区实测质量略优，部署最顺（我们已跑通）
MXFP4（AMD 官方） 约 14GB，更小，但有 MTP 头 BF16 未量化的已知 bug，需要额外预处理
实测速度 本机 37~61 tok/s（无思考 37、含思考 55~61）
最主要场景 AI 智能体（Agent）+ 编码 + 多模态办公

2. 模型基础：Qwen3.8-27B 是什么

Qwen3.8-27B 是阿里 Qwen 团队基于 Qwen3.5 架构推出的 27B 稠密模型，官方定位：

"在编码、专业工作、研究、长程智能体任务上带来大幅提升的紧凑、易部署的原生视觉语言模型。"

属性 值
参数量 27B（稠密）
隐藏维度 5120
层数 64 层
上下文 原生 262,144（256K），可扩展至 100 万
模态 文本 + 图片 + 视频（原生）
思考控制 默认开启思考，可关闭，reasoning_effort 可调
协议 Apache-2.0

官方列出的核心能力

  1. Core Capabilities：编码、专业工作、研究、长程智能体的全面提升
  2. Agent Execution：更强的自主规划与环境反馈处理，端到端任务完成更可靠
  3. Flexible Thinking Control：思考模式默认开、可按请求关，推理深度可调
  4. Vision-Language Understanding：原生图片/视频理解（从 STEM 图表、文档到小时级视频）

3. 架构详解（GDN 混合架构）

Qwen3.8-27B 采用 Gated DeltaNet（GDN）混合架构——线性注意力与全注意力的混合，这是它"小而强"的关键：

隐藏布局：16 × ( 3 × (Gated DeltaNet → FFN) → 1 × (Gated Attention → FFN) )
结构 数量 说明
线性注意力头（GDN） 48（V）/ 16（QK） 长程记忆，高效处理长上下文
全注意力头（Gated Attention） 24（Q）/ 4（KV） 精确局部注意力
混合比例 3:1（线性:全注意） 每 4 层中 3 层线性 + 1 层全注意

架构意义：

  • 线性注意力（DeltaNet）让 27B 模型在 256K 甚至 100 万 token 长上下文下仍保持高效
  • 全注意力层保留复杂推理的精确性
  • 因此它特别适合长程 Agent 任务（多步规划、环境反馈、长文档）

4. 两个量化版本逐项对比

维度 AutoRound INT4 （社区） AMD Quark AWQ MXFP4 （官方）
量化工具 Intel AutoRound AMD Quark
权重精度 INT4（W4） MXFP4（OCP 微缩放 FP4）
激活精度 FP16（W4A16） MXFP4（动态）
分组大小 group 128 group 32（E8M0 共享缩放）
算法 AutoRound（对称） AWQ（激活感知）
校准集 — pileval（128 样本）
体积 ~18 GB ~14 GB
视觉塔 bf16（未量化） bf16（未量化，模型卡明确说明）
MTP 投机头 INT4（已正确量化） BF16（未量化，有加载 bug）
官方 GSM8K 恢复率 社区实测"优于 AMD 两个 Quark 版" 101.8%（思考）/ 99.2%（无思考）
部署难度 需 config 补丁 + 内核补丁 需预处理 MTP 头 + MXFP4 内核
单卡 32GB 适配 17.9GB，宽裕 ~16GB，更宽裕

关键差异解读

  1. 体积：MXFP4 更小（14GB vs 18GB），因为激活也量化了。
  2. 质量：两者都接近无损。AMD 官方 GSM8K 恢复率 >99%；社区（zzpanic launcher）实测 AutoRound INT4 "beats AMD's two published Quark checkpoints"。两个说法不矛盾——各自基准不同。
  3. 致命差异是部署：AMD MXFP4 的 MTP 头未量化（BF16），其 exclude 列表用了 tensor 名而非 module 名，导致 quark 没排除 mtp 层，vLLM 加载会报 asserts on a half-width parameter——需用脚本 fp8_mtp.py 重新量化 MTP 头才能跑。而 AutoRound INT4 的 MTP 头已正确 INT4 量化，开箱即用（加 config 补丁即可）。

5. 功能全景

5.1 多模态（视觉 + 视频）

  • 原生图片理解：STEM 图表、文档、截图、照片
  • 视频理解：最长小时级视频
  • 视觉网页开发（Vision2Web）、视觉数学（MathVision）、科学图表（CharXiv）

5.2 灵活思考控制（Flexible Thinking）

能力 说明
默认思考 思考模式默认开启
按需关闭 每次请求可关闭（enable_thinking=False）
深度可调 reasoning_effort 调节推理深度
历史保留 preserve_thinking 保留历史思考上下文

5.3 Agent（智能体）能力

  • 自主规划、环境反馈处理
  • 电脑操作（OSWorld）、浏览器操作（WebArena）、手机操作（AndroidWorld）
  • 工具调用（多模态工具调用 ClawEval-MM）

5.4 编码能力

  • 终端编码（Terminal Bench）、仓库级代码生成（NL2Repo-Bench）、软件工程（SWE-bench Pro、DeepSWE、QwenSWEBench）

6. 官方基准成绩

以下为 Qwen3.8-27B 官方模型卡公布的**基座模型（BF16）**成绩（节选强项）：

Agent 与操作

基准 能力 成绩
OSWorld-Verified 电脑操作 84.3
AndroidWorld 手机操作 81.9
WebArena-Verified 浏览器操作 64.8
RecreationBench 应用复刻 47.1

多模态

基准 能力 成绩
MathVision 视觉数学（With CI） 94.6
CharXiv 科学图表分析（With CI） 90.2
BabyVision 通用视觉推理（With CI） 85.6
Vision2Web 视觉网页开发 62.9
ClawEval-MM 多模态工具调用 57.4

编码 / Agent 编码

覆盖 Terminal Bench 2.1、SWE-bench Pro、NL2Repo-Bench、DeepSWE 1.1、QwenSWEBench、LiveCodeBench v6（成绩见模型卡）。

量化版恢复率（AMD 官方 GSM8K 5-shot）

模式 MXFP4（AWQ） BF16 基座 恢复率
思考模式 94.996% / 95.30% 93.33% 101.8%
无思考 89.92% / 89.76% 90.67% 99.2%

恢复率 >100% 说明 MXFP4 在 GSM8K 上甚至略高于 BF16 基座（量化带来的轻微正则化效应）。这证明 AMD 的 MXFP4 量化几乎无损。

7. 真实性能实测（本机 R9700）

以下为本机（AMD R9700 单卡 + vLLM + 投机解码）对 AutoRound INT4 版的实测：

7.1 速度

场景 速度
无思考（enable_thinking=false） 34.4 tok/s
含思考链 52.4~61 tok/s
投机解码提速 相对基线 +31%

7.2 四类日常任务实测

任务 速度 结果
中文写作（会议通知） 36.9 tok/s 格式规范、要点完整
数学推理（进水出水题） 54.8 tok/s 答案正确（2 小时），含分步推导
代码生成（回文判断） 60.9 tok/s 函数+注释+示例，可运行
中译英 41.4 tok/s 翻译准确地道

7.3 多模态实测

  • 发一张「左上红、右上绿、下半蓝」的测试图 → 模型正确回答颜色与分布，用时 0.9 秒

7.4 资源占用

指标 值
显存占用 17.93 GiB（VRAM 88%）
前缀缓存命中率 84.8%（内部指标）
上下文 128K

8. 日常学习办公场景评估

场景逐个评估（基于实测 + 官方基准）

日常场景 表现 评级
中文写作/公文 格式规范、语气得体 ⭐⭐⭐⭐⭐
中英互译 准确地道 ⭐⭐⭐⭐⭐
数学/理科题 分步推理、答案正确 ⭐⭐⭐⭐⭐
代码编写/调试 规范、可运行、带注释 ⭐⭐⭐⭐⭐
文档总结/改写 良好（256K 长上下文支持长文档） ⭐⭐⭐⭐⭐
图片/截图理解 原生多模态，正确识别 ⭐⭐⭐⭐⭐
表格/图表分析 CharXiv 90.2，强项 ⭐⭐⭐⭐⭐
长文档/长视频理解 原生支持小时级视频 ⭐⭐⭐⭐
日常闲聊 可用，但非主打 ⭐⭐⭐⭐

小结：对学习办公来说，这个模型是"全能型"——写作、翻译、数学、代码、读图、读文档样样都强。唯一"短板"是：它设计上偏"Agent/编码"，日常闲聊的"人味"不如专门的对话模型，但这不影响办公使用。

9. 最主要应用场景

结合架构（GDN 长上下文）、官方定位和基准成绩，Qwen3.8-27B 的最主要应用场景按优先级排序：

1. 本地 AI 智能体（Agent）—— 第一场景

  • 官方明确主推（配合 AMD OpenClaw）
  • OSWorld 84.3 / AndroidWorld 81.9 / WebArena 64.8，操作类能力顶级
  • 长程任务规划 + 环境反馈 + 工具调用
  • 典型用途：本地自动化助手（操作电脑、浏览器、手机），如 OpenClaw 智能体

2. 软件工程 / 编码 —— 第二场景

  • SWE-bench Pro、Terminal Bench、NL2Repo-Bench 全覆盖
  • 典型用途：本地编程助手、代码审查、自动化修 Bug（DSH 就是典型）

3. 多模态办公 / 研究 —— 第三场景

  • 读图、读文档、读图表、读视频
  • MathVision 94.6、CharXiv 90.2
  • 典型用途：文档理解、图表分析、视觉数学题、截图问答

4. 日常学习办公 —— 顺带强项

  • 写作、翻译、总结、数学、代码（本机实测全通过）

10. 两个版本怎么选

你的情况 推荐
想要省心、开箱即用 AutoRound INT4（已部署跑通，质量略优，MTP 头无 bug）
想要最小体积（14GB） AMD MXFP4（但需先处理 MTP 头 bug）
追求极限质量 两者接近无损，差异可忽略；社区实测 AutoRound 略优
单卡 32GB 部署 两个都能装下（18GB / 14GB），AutoRound 更省心

本机结论：我们已在 R9700 上跑通了 AutoRound INT4，速度 34~61 tok/s，质量优秀，数学/代码/翻译/读图全过。维持现状即可，无需换 MXFP4——MXFP4 省的那 4GB 对 32GB 卡意义不大，却要额外踩 MTP 头的坑。

11. 总结

维度 结论
模型定位 27B 原生多模态 + GDN 长上下文 + 强 Agent/编码
量化质量 两个版本都接近无损（99%~102% 恢复率）
实测速度 34~61 tok/s（单卡 R9700 + 投机解码）
实测准确度 数学 代码 翻译 写作 读图
最主要场景 AI 智能体 + 编码 + 多模态办公
推荐选择 AutoRound INT4（省心、质量略优、已部署）

总结：Qwen3.8-27B 是一个"为 Agent 和编码而生、顺带把学习办公全包"的全能型 27B 多模态模型；两个量化版质量几乎无损，选 AutoRound INT4 最省心。

附：参考资料

]]>https://lcz.me/topic/1756RSS for NodeFri, 25 Sep 2026 22:14:51 GMTWed, 16 Sep 2026 13:09:53 GMT60<![CDATA[Reply to AMD 官方 MXFP4与社区 INT4，两个量化版本深度评测 on Sat, 19 Sep 2026 01:45:10 GMT]]>@jatwu 你好，本人小白。请详细解说此模型能带来什么实际功效？优缺点都有啥？由于我已投入家庭使用不方便测试，谢谢指教。

]]>https://lcz.me/post/19258https://lcz.me/post/19258Sat, 19 Sep 2026 01:45:10 GMT<![CDATA[Reply to AMD 官方 MXFP4与社区 INT4，两个量化版本深度评测 on Fri, 18 Sep 2026 16:08:24 GMT]]>@Magic629 Radiance 用独立草稿模型 Qwen3.8-27B-DFlash2-FP8（--speculative-config 里显式指定），根本不碰 checkpoint 内置的 MTP 头，你可以试试。

项 值
基座 Qwen3.8-27B-Quark-AWQ-MXFP4（served name Qwen3.8-27B-MXFP4）
草稿模型 Qwen3.8-27B-DFlash2-FP8（dflash 投机解码，7 token）
镜像 / 卡 magiccodingman/vllm-radiance:1.0.15，单卡 R9700#2（ROCR_VISIBLE_DEVICES=1，TP=1）
上下文 / 并发 --max-model-len 190000，--max-num-seqs 4
KV --kv-cache-dtype fp8，--kv-cache-memory-bytes 8912057139（8.3GB 写死），utilization 0.98
预填块 --max-num-batched-tokens 4096（09-16 OOM 事故后从 8192 压下来的修复值）
注意力 R4D + prefix caching + --no-async-scheduling，PIECEWISE cudagraph
采样默认 temperature 0.7 / top_p 0.95 / top_k 20 / repetition_penalty 1.05（修编程死循环）
能力开关 --language-model-only（不能看图，带图请求自动转 node2）；tools qwen3_xml、reasoning qwen3
附加 ROCR 1.18 rel-7.2 预加载（修 CPU 空转 84°C）；radiance-watchdog.timer 每分钟探活；
]]>https://lcz.me/post/19200https://lcz.me/post/19200Fri, 18 Sep 2026 16:08:24 GMT<![CDATA[Reply to AMD 官方 MXFP4与社区 INT4，两个量化版本深度评测 on Wed, 16 Sep 2026 13:19:14 GMT]]>@terry 是的，我实测干活可以，但任务一复杂就有点力不从心了。

]]>https://lcz.me/post/18640https://lcz.me/post/18640Wed, 16 Sep 2026 13:19:14 GMT<![CDATA[Reply to AMD 官方 MXFP4与社区 INT4，两个量化版本深度评测 on Wed, 16 Sep 2026 13:17:58 GMT]]>Qwen 27B在短任务中还是相当能打的，长链还是远不如Deepseek，这个事模型尺寸有一定的影响，更重要的是长上下文找回准确率不够导致的 ，这个是硬伤，技术突破的难度很大。

]]>https://lcz.me/post/18639https://lcz.me/post/18639Wed, 16 Sep 2026 13:17:58 GMT