<![CDATA[llama.cpp升级到最新，9700XTX+Vulkan实测prefill有小幅提升]]>今天刷到reddit一个新帖，说 https://github.com/ggml-org/llama.cpp/commit/70c4e1582e37e4fd94104eb09301711a0f2675bc 这个 commit（70c4e15）是 llama.cpp 中一个重要的 Vulkan 后端性能优化，核心是为 AMD RDNA3 和 RDNA4 架构的 GPU 实现了 int8 量化矩阵乘法（matmul） 的硬件加速支持，能大幅提升9700XTX的prefill性能。看帖子贴出的图示，貌似针对9B的模型，prefill提升了近30%。

这个commit是9月24日提交的，刚好在v0.5.0发布的第二天。我赶紧更新到最新版实测，可惜在我本机针对Qwen3.8-27B模型，只有5%左右的提升。不过也好，蚊子肉也是肉。

Before：
Screenshot From 2026-09-27 22-04-17.png

After：
Screenshot From 2026-09-27 22-03-37.png

Qwen3.6-35B-A3B 这种MoE型好一点，但在我本机也只有8%左右的提升。
Before：
Screenshot From 2026-09-27 22-05-03.png

After：
Screenshot From 2026-09-27 22-05-43.png

]]>https://lcz.me/topic/1980RSS for NodeSat, 24 Oct 2026 11:56:16 GMTMon, 28 Sep 2026 05:27:52 GMT60<![CDATA[Reply to llama.cpp升级到最新，9700XTX+Vulkan实测prefill有小幅提升 on Mon, 28 Sep 2026 06:44:23 GMT]]>蚊子肉多一些，就能吃上蚊子肉饼了

]]>https://lcz.me/post/21255https://lcz.me/post/21255Mon, 28 Sep 2026 06:44:23 GMT