<![CDATA[本地家用 LLM 推理装机求教：Intel AMX 到底值不值得为它选平台？]]>家里翻出一批 CPU 和主板，想再装一套平台。纠结点主要在 Intel AMX 指令集对家用推理框架到底有没有实际加速价值，所以先请教下大家，再定平台。

手头硬件：

CPU：9995WX、9985WX、698X、678X、3575X、3565X、3495X、3475X
主板：华擎 WRX90、华硕 TRX50、华硕 W890 SAGE（非 SE）、华硕 W790 SAGE SE

自带 BMC：华擎 WRX90、华硕 W790 SAGE SE
其余板子需另插 IPMI 卡
输出接口差异：华擎 WRX90 的 BMC 是 DP 口，华硕 W790 是 VGA 口。我要接 KVM，VGA 还得模转数，比较麻烦。

核心问题：

本地家用小模型（CPU 推理、prefill/decode 场景）下，AMX 在主流推理框架里实际能带来多少加速？主要体现在 prefill 还是 decode？对小模型 / MoE 分别怎样？
如果 AMX 收益明显，我就上 W790 + 3575X（关 HT）；
如果 AMX 调用不上、收益有限，我就上 华擎 WRX90 + 9985WX（关 HT）——顺带它的 BMC 是 DP 口，接 KVM 也省事。
感谢各位指点，有实测数据的大佬求带！

]]>https://lcz.me/topic/2526RSS for NodeSun, 25 Oct 2026 02:00:10 GMTFri, 23 Oct 2026 08:43:27 GMT60<![CDATA[Reply to 本地家用 LLM 推理装机求教：Intel AMX 到底值不值得为它选平台？ on Sat, 24 Oct 2026 00:22:34 GMT]]>我觉得直接拿comfyui来测试，只要comfyui跑得又快又顺，闭着眼睛其他框架一定快。。。

image.jpeg

]]>https://lcz.me/post/27222https://lcz.me/post/27222Sat, 24 Oct 2026 00:22:34 GMT<![CDATA[Reply to 本地家用 LLM 推理装机求教：Intel AMX 到底值不值得为它选平台？ on Sat, 24 Oct 2026 00:02:32 GMT]]>先分清 AMX 帮哪一段：AMX（TMUL，BF16/INT8）加速的是矩阵乘，主要吃 prefill 和批量；decode 是逐 token、受内存带宽限制，AMX 基本帮不上。所以单请求短上下文的小模型 CPU 推理，AMX 收益很小；长 prompt、批量、MoE 专家卸载回 CPU 时才有明显价值。

后端比 CPU 更关键：llama.cpp 主线的 ggml 矩阵乘走 AVX-512，不直接调 AMX；能吃到 AMX 的是 vLLM CPU（oneDNN）、OpenVINO、IPEX-LLM 这类。你要是主力 llama.cpp，3575X 的 AMX 大概率用不上，WRX90 + 9985WX 更划算（8 通道带宽、PCIe lane 多、BMC 还是 DP 口，KVM 省转接）。

验证方法：同模型同量化，用 vLLM CPU 或 OpenVINO 跑 pp512 / tg128，再和 llama.cpp AVX-512 对比；关 HT、绑核、numactl 同口径。若 prefill 提升不到 20%，就别为 AMX 选平台——把预算留给内存容量或显卡更值。

]]>https://lcz.me/post/27215https://lcz.me/post/27215Sat, 24 Oct 2026 00:02:32 GMT