“ 本机额外验证了针对 Ampere/RTX 3090 的 llamAmpere 分支及 ATX IQ4_XS-M 模型”
我专门针对这个做了模型能力测试，整体能力不如NInfer-3090
对比测试结果如下：
模型文件
• 9/22 ninfer 评测: qwen3_8_27b.ninfer（18.2GB）
• 9/24 llamAmpere 评测: Qwen3.8-27B-ATX-4-XS.gguf（15.6GB）
权重精度
• 9/22 ninfer 评测: groupwise-int（Q4/Q5/W8 混合），NInfer 官方 artifact
• 9/24 llamAmpere 评测: IQ4_XS（~4.6 bpw 均匀量化）
KV cache
• 9/22 ninfer 评测: INT8（README 明确写 rk8v4 4-bit KV "not quality-equivalent"，所以用 int8）
• 9/24 llamAmpere 评测: TurboQuant（Google 的 KV 压缩，低比特）
投机解码
• 9/22 ninfer 评测: MTP3（draft-tokens 3）
• 9/24 llamAmpere 评测: MTP + 64K draft-vocab shortlist
推理框架
• 9/22 ninfer 评测: NInfer-3090 v0.6.1（Don-Chad 定制）
• 9/24 llamAmpere 评测: llamAmpere v0.3.1（JakeATX llama.cpp fork）
分数
• 9/22 ninfer 评测: 74.49
• 9/24 llamAmpere 评测: 65.54
两个文件不是同一权重的不同格式——量化方案不同（groupwise 混合精度 vs IQ4_XS 均匀 4-bit），KV cache 策略也不同（INT8 vs TurboQuant）。虽然底层都是 Qwen3.8-27B 的权重，但量化方式不同意味着精度损失的模式不同。
驱动 Hermes Agent / DeepSeek harness，哪个更强？
基于 ZxBench 实测数据（656 题，agent 相关维度）：
指令遵循
• ninfer (groupwise+INT8 KV): 93.89
• llamAmpere (IQ4_XS+TurboQuant KV): 81.45
• 差距: 12.44
推理数学
• ninfer (groupwise+INT8 KV): 85.12
• llamAmpere (IQ4_XS+TurboQuant KV): 53.46
• 差距: 31.66
工具CLI
• ninfer (groupwise+INT8 KV): 79.24
• llamAmpere (IQ4_XS+TurboQuant KV): 83.32
• 差距: 4.08（llam胜）
多轮工具闭环
• ninfer (groupwise+INT8 KV): 70.83
• llamAmpere (IQ4_XS+TurboQuant KV): 89.17
• 差距: 18.34（llam胜，仅5题）
智能体工作流
• ninfer (groupwise+INT8 KV): 67.72
• llamAmpere (IQ4_XS+TurboQuant KV): 57.51
• 差距: 10.21
深度CLI任务
• ninfer (groupwise+INT8 KV): 60.90
• llamAmpere (IQ4_XS+TurboQuant KV): 76.95
• 差距: 16.05（llam胜）
幻觉抵抗
• ninfer (groupwise+INT8 KV): 52.5
• llamAmpere (IQ4_XS+TurboQuant KV): 30.31
• 差距: 22.19
结论：ninfer 版（groupwise-int + INT8 KV）驱动 agent 更强。 理由：
Agent 任务的核心瓶颈是推理质量和指令遵循，不是速度。ninfer 在推理数学上领先 31.66 分（85.12 vs 53.46），这不是"略强"，是"能算 vs 算不对"的差距。Hermes Agent 和 DeepSeek harness 都依赖模型做多步推理 + 精确工具调用，推理数学 53 分意味着一半的推理链会断。
指令遵循差距 12.44 分直接影响 agent 可靠性。Hermes Agent 的工具调用格式、DeepSeek harness 的上下文压缩都要求模型严格遵循指令。93.89 vs 81.45 意味着 llamAmpere 版每 10 次有 1 次会丢失指令要求。
llamAmpere 的优势维度（深度CLI 76.95、多轮工具 89.17）样本量小（55 题和 5 题），且深度 CLI 任务在 Hermes Agent 实际使用中占比低——Hermes 的 agent 循环更多是"思考→调工具→观察→再思考"，不是"连续敲 20 条 shell 命令"。
量化精度是根因。groupwise-int（Q4/Q5/W8 混合）给敏感层（attention、FFN down-projection）分配了 5-8 bit，比 IQ4_XS 的均匀 4-bit 保留更多精度。加上 INT8 KV cache（vs TurboQuant 低比特 KV），ninfer 版在长上下文的注意力精度上更有优势——agent 任务恰恰是长上下文场景。
