跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 作业: 7900 XTX 128g DDR4 跑 Q4_K_XL:Strata RDNA3 调优记录

作业: 7900 XTX 128g DDR4 跑 Q4_K_XL:Strata RDNA3 调优记录

已定时 已固定 已锁定 已移动 优秀 LLM讨论区
7900xtxamdstrata
13 帖子 5 发布者 527 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • 懒人烘培懒
    懒人烘培懒
    懒人烘培
    王侯将相
    编写于 最后由 编辑
    #2

    楼主用Strata在R7900 XTX上还有明显的优化空间,而且不需要更换显卡或模型,仅调整运行参数,就能改善 Prefill 和 Decode 性能。

    双 7900 XTX:模型本地跑,Token 随便烧!

    J Z 0J 1 条回复 最后回复
    0
    • 懒人烘培懒 懒人烘培

      楼主用Strata在R7900 XTX上还有明显的优化空间,而且不需要更换显卡或模型,仅调整运行参数,就能改善 Prefill 和 Decode 性能。

      J Z 0J
      J Z 0J
      J Z 0
      体面乡绅 硕果累累
      编写于 最后由 编辑
      #3

      @懒人烘培 我看你们100 decode多都是IQ3_s, 我这个size的模型可能也差不多到头了? 我现在保留所有参数, 让agent帮我退回0.2.8的原版strata, 看看到底是fork在起作用, 还是调的参数在起作用

      1 条回复 最后回复
      0
      • 懒人烘培懒
        懒人烘培懒
        懒人烘培
        王侯将相
        编写于 最后由 懒人烘培 编辑
        #4

        @j-z-0 没有到头,还有优化空间,就得花时间折腾
        我用得还是strata 0.1.43,每次升级前让ai去分析一下,不一定新版本就好

        双 7900 XTX:模型本地跑,Token 随便烧!

        J Z 0J 2 条回复 最后回复
        0
        • 懒人烘培懒 懒人烘培

          @j-z-0 没有到头,还有优化空间,就得花时间折腾
          我用得还是strata 0.1.43,每次升级前让ai去分析一下,不一定新版本就好

          J Z 0J
          J Z 0J
          J Z 0
          体面乡绅 硕果累累
          编写于 最后由 编辑
          #5

          @懒人烘培 嗯, 刚刚测了, 是RNDA3起作用, 退回去, 速度也回去了

          懒人烘培懒 1 条回复 最后回复
          0
          • J Z 0J J Z 0

            @懒人烘培 嗯, 刚刚测了, 是RNDA3起作用, 退回去, 速度也回去了

            懒人烘培懒
            懒人烘培懒
            懒人烘培
            王侯将相
            编写于 最后由 编辑
            #6

            @J-Z-0 嗯嗯,有时候这个版本真是摸不清

            双 7900 XTX:模型本地跑,Token 随便烧!

            1 条回复 最后回复
            0
            • 懒人烘培懒 懒人烘培

              @j-z-0 没有到头,还有优化空间,就得花时间折腾
              我用得还是strata 0.1.43,每次升级前让ai去分析一下,不一定新版本就好

              J Z 0J
              J Z 0J
              J Z 0
              体面乡绅 硕果累累
              编写于 最后由 编辑
              #7

              @懒人烘培 靠你们大佬们加油了, 我抄作业更爽啊

              懒人烘培懒 1 条回复 最后回复
              0
              • J Z 0J J Z 0

                @懒人烘培 靠你们大佬们加油了, 我抄作业更爽啊

                懒人烘培懒
                懒人烘培懒
                懒人烘培
                王侯将相
                编写于 最后由 编辑
                #8

                @J-Z-0 现在我发的主要都是双卡,有时间也折腾一下单卡配置及优化

                双 7900 XTX:模型本地跑,Token 随便烧!

                1 条回复 最后回复
                1
                • XiaoteX
                  XiaoteX
                  Xiaote
                  易有太极
                  编写于 最后由 编辑
                  #9

                  ✅ 版主审定:本帖设为优秀,作者 +3 积分奖励,继续加油!

                  奖励凭证:优秀 +3 分 · 编号 e2702-3843-1

                  老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

                  1 条回复 最后回复
                  0
                  • terryT
                    terryT
                    terry
                    易有太极
                    编写于 最后由 编辑
                    #10

                    UD-Q4_K_XL 能跑到这个速度还是不错了,具备实用价值,比起IQ3有明显优势?

                    油管:https://www.youtube.com/@抡锤者

                    J Z 0J 1 条回复 最后回复
                    0
                    • donal2026D
                      donal2026D
                      donal2026
                      编写于 最后由 编辑
                      #11

                      你这个比较真实,跑Q3还是跑Q4区别很大的。

                      1 条回复 最后回复
                      0
                      • terryT terry

                        UD-Q4_K_XL 能跑到这个速度还是不错了,具备实用价值,比起IQ3有明显优势?

                        J Z 0J
                        J Z 0J
                        J Z 0
                        体面乡绅 硕果累累
                        编写于 最后由 编辑
                        #12

                        @terry 我想做一个给数据就自动跑数学模型, 出报告的agent, 一个任务时间比较长, 上下文要多次压缩。 之前用IQ3, 速度倒是快, 但偶尔不稳定, 会陷入死循环的自言自语, 也不是每次都发生, Q4好很多

                        terryT 1 条回复 最后回复
                        1
                        • J Z 0J J Z 0

                          @terry 我想做一个给数据就自动跑数学模型, 出报告的agent, 一个任务时间比较长, 上下文要多次压缩。 之前用IQ3, 速度倒是快, 但偶尔不稳定, 会陷入死循环的自言自语, 也不是每次都发生, Q4好很多

                          terryT
                          terryT
                          terry
                          易有太极
                          编写于 最后由 编辑
                          #13

                          @J-Z-0 你们都在本地跑这种任务了,我本地都是一些小人任务,看来模型能干活了。我也找时间测试下。

                          油管:https://www.youtube.com/@抡锤者

                          1 条回复 最后回复
                          0

                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                          有了你的建议,这篇帖子会更精彩哦 💗

                          注册 登录
                          回复
                          • 在新帖中回复
                          登录后回复
                          • 从旧到新
                          • 从新到旧
                          • 最多赞同


                          • 登录

                          • 登录或注册以进行搜索。
                          • 第一个帖子
                            最后一个帖子
                          0
                          • 版块
                          • 最新
                          • 标签
                          • 热门
                          • 用户
                          • 群组