跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. AI硬件
  4. llama.cpp升级到最新,9700XTX+Vulkan实测prefill有小幅提升

llama.cpp升级到最新,9700XTX+Vulkan实测prefill有小幅提升

已定时 已固定 已锁定 已移动 AI硬件
llama.cppamd
1 交叉发布 2 帖子 2 发布者 337 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • C
    C
    Colt
    体面乡绅
    编写于 最后由 编辑
    #1

    今天刷到reddit一个新帖,说 https://github.com/ggml-org/llama.cpp/commit/70c4e1582e37e4fd94104eb09301711a0f2675bc 这个 commit(70c4e15)是 llama.cpp 中一个重要的 Vulkan 后端性能优化,核心是为 AMD RDNA3 和 RDNA4 架构的 GPU 实现了 int8 量化矩阵乘法(matmul) 的硬件加速支持,能大幅提升9700XTX的prefill性能。看帖子贴出的图示,貌似针对9B的模型,prefill提升了近30%。

    这个commit是9月24日提交的,刚好在v0.5.0发布的第二天。我赶紧更新到最新版实测,可惜在我本机针对Qwen3.8-27B模型,只有5%左右的提升。不过也好,蚊子肉也是肉。

    Before:
    Screenshot From 2026-09-27 22-04-17.png

    After:
    Screenshot From 2026-09-27 22-03-37.png

    Qwen3.6-35B-A3B 这种MoE型好一点,但在我本机也只有8%左右的提升。
    Before:
    Screenshot From 2026-09-27 22-05-03.png

    After:
    Screenshot From 2026-09-27 22-05-43.png

    1 条回复 最后回复
    1
    • ,C Colt 将此主题交叉发布至 LLM讨论区
    • AGIA
      AGIA
      AGI
      贵族大夫 硕果累累
      编写于 最后由 编辑
      #2

      蚊子肉多一些,就能吃上蚊子肉饼了

      https://agi.cd/@x

      1 条回复 最后回复
      0

      你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

      厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

      有了你的建议,这篇帖子会更精彩哦 💗

      注册 登录
      回复
      • 在新帖中回复
      登录后回复
      • 从旧到新
      • 从新到旧
      • 最多赞同


      • 登录

      • 登录或注册以进行搜索。
      • 第一个帖子
        最后一个帖子
      0
      • 版块
      • 最新
      • 标签
      • 热门
      • 用户
      • 群组