跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
  1. 主页
  2. 版块
  3. AI Agent
  4. 7900 XTX 的可能性探索|单卡篇(四):魔法打败魔法 - 7900XTX Strata 引擎跑Qwen3.8 Flash-Next 快得让我怀疑人生

7900 XTX 的可能性探索|单卡篇(四):魔法打败魔法 - 7900XTX Strata 引擎跑Qwen3.8 Flash-Next 快得让我怀疑人生

已定时 已固定 已锁定 已移动 精华 热议 AI Agent
7900xtxstrataqwen-flash
26 帖子 10 发布者 1.8k 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • K
    K
    kenshin
    编写于 最后由 编辑
    #14

    能用,但还是尴尬,64G内存不够霍霍。继续跑27B了。

    A Ben LeeB 2 条回复 最后回复
    0
    • K kenshin

      能用,但还是尴尬,64G内存不够霍霍。继续跑27B了。

      A
      A
      applejuice
      技术大牛 劳动模范
      编写于 最后由 applejuice 编辑
      #15

      @kenshin 我的64gb内存也不够了
      买了显卡 现在到内存不够

      3090x2 + r9700

      1 条回复 最后回复
      0
      • K kenshin

        能用,但还是尴尬,64G内存不够霍霍。继续跑27B了。

        Ben LeeB
        Ben LeeB
        Ben Lee
        超凡大师
        编写于 最后由 编辑
        #16

        @kenshin 我也是64G内存,我这边在 7900 XTX + Strata 跑 Flash-Next 也踩过这个坑, 一开始测试的时候也是报内存不够,调整了几次就好了。

        Strata 的 --resident-cpu-experts 模式启动时对 系统 RAM 可用量要求很高,不是看你“装了多少 RAM”,而是看启动瞬间还有多少 available memory。
        我这边 Orca IQ3_XXS 的实测大概是:

        • expert resident RAM:约 31.95 GiB
        • prefill borrow:约 3.92 GiB
        • 再加模型运行、page cache、Strata 本身以及安全余量
          实际建议启动前至少留出 约 50 GiB 可用 RAM。
          我这台机器只有 64GB RAM,所以如果另一张卡上的 27B 服务、Hermes 或其他进程也在吃内存,Strata 就很容易在加载阶段失败,或者退回 mmap 路径,性能会明显掉。

        我最后的办法不是乱调参数,而是:

        1. 先看 MemAvailable,不要只看总内存。
        2. 启动 Strata 前先卸载/停掉占系统 RAM 很多的其他模型。
        3. 确保 swap 不在疯狂工作;能启动但一直 swap,速度也会很难看。
        4. 如果要跑我们那套高性能配置,尽量保留:
          --resident-cpu-experts
        5. 实在内存不够,可以不用 resident CPU experts、改走 mmap/streaming,但这是“能跑”的方案,不是我们测到 1000+ Prefill 的那套性能方案。

        其实都是我的本地Agent在搞,我就是一直给它鼓励和压力,它就自己搞出来了,哈哈

        1 条回复 最后回复
        1
        • xiaopbroX xiaopbro

          R9700失败了,
          image.jpeg

          Ben LeeB
          Ben LeeB
          Ben Lee
          超凡大师
          编写于 最后由 编辑
          #17

          @xiaopbro 这个看起来不像是 R9700 跑不了 Strata。我问了下 AI,更可能是 gfx1201 这边的编译 / ROCm 环境有问题。

          Strata 现在已经正式支持 R9700 / gfx1201,官方也有 R9700 实机跑通的记录。现在比较靠谱的路线,一个是 system ROCm 7.14,另一个就是直接走 Strata setup 自带的 TheRock 7.10 gfx120X。

          你现在这套是 ROCm 7.2.1 + clang 22,而且 stall report 已经显示 GPU kernel 基本没正常跑起来。要不要考虑先换到 Strata 官方推荐的 TheRock / gfx120X 环境再重新编一次试试?

          对了,我的 7900 XTX 那套手工 ROCm / hipBLASLt / WMMA 参数别原样照搬过去,那套是针对 gfx1100 调的,gfx1201 不是一回事。

          xiaopbroX 1 条回复 最后回复
          1
          • Ben LeeB Ben Lee

            @xiaopbro 这个看起来不像是 R9700 跑不了 Strata。我问了下 AI,更可能是 gfx1201 这边的编译 / ROCm 环境有问题。

            Strata 现在已经正式支持 R9700 / gfx1201,官方也有 R9700 实机跑通的记录。现在比较靠谱的路线,一个是 system ROCm 7.14,另一个就是直接走 Strata setup 自带的 TheRock 7.10 gfx120X。

            你现在这套是 ROCm 7.2.1 + clang 22,而且 stall report 已经显示 GPU kernel 基本没正常跑起来。要不要考虑先换到 Strata 官方推荐的 TheRock / gfx120X 环境再重新编一次试试?

            对了,我的 7900 XTX 那套手工 ROCm / hipBLASLt / WMMA 参数别原样照搬过去,那套是针对 gfx1100 调的,gfx1201 不是一回事。

            xiaopbroX
            xiaopbroX
            xiaopbro
            德高望重
            编写于 最后由 编辑
            #18

            @Ben-Lee 已经跑起来了, 就是用你说的TheRock 7.10 gfx120X这个

            Ben LeeB 1 条回复 最后回复
            0
            • xiaopbroX xiaopbro

              @Ben-Lee 已经跑起来了, 就是用你说的TheRock 7.10 gfx120X这个

              Ben LeeB
              Ben LeeB
              Ben Lee
              超凡大师
              编写于 最后由 编辑
              #19

              @xiaopbro 哦太好了,恭喜恭喜!我最近注意到,R9700 这条 RDNA4 / gfx1201 线的优化进展,感觉明显比 RDNA3 / gfx1100 快不少。很多新 kernel、WMMA、ROCm 适配好像都是先照顾 RDNA4。你这边如果把编译环境理顺,后面应该还有不少性能可以挖。

              xiaopbroX 1 条回复 最后回复
              0
              • Ben LeeB Ben Lee

                @xiaopbro 哦太好了,恭喜恭喜!我最近注意到,R9700 这条 RDNA4 / gfx1201 线的优化进展,感觉明显比 RDNA3 / gfx1100 快不少。很多新 kernel、WMMA、ROCm 适配好像都是先照顾 RDNA4。你这边如果把编译环境理顺,后面应该还有不少性能可以挖。

                xiaopbroX
                xiaopbroX
                xiaopbro
                德高望重
                编写于 最后由 编辑
                #20

                @Ben-Lee 哈哈,主要还是感谢大佬帖子的启发

                1 条回复 最后回复
                0
                • K
                  K
                  kenshin
                  编写于 最后由 编辑
                  #21

                  这个方案出来后,内存又有理由再涨一波了。哈哈哈(苦笑······)

                  Ben LeeB 1 条回复 最后回复
                  0
                  • Ben LeeB
                    Ben LeeB
                    Ben Lee
                    超凡大师
                    编写于 最后由 编辑
                    #22

                    @xiaopbro 我是纯小白!跟着真大佬在这个论坛里混,然后剽窃我的本地AI的成果发表论文😂

                    1 条回复 最后回复
                    0
                    • K kenshin

                      这个方案出来后,内存又有理由再涨一波了。哈哈哈(苦笑······)

                      Ben LeeB
                      Ben LeeB
                      Ben Lee
                      超凡大师
                      编写于 最后由 编辑
                      #23

                      @kenshin 其实27B已经很好了,24G以上显存都能跑,看在钱的份上,本地跑慢点就慢点,总归能熬到显卡和内存价格回归理性的一天。另外,类似turboQ这种KV压缩技术最近又有新的创新,硬件的潜力还能被社区大神们进一步挖掘。

                      1 条回复 最后回复
                      0
                      • ,terryT terry 固定了此主题
                      • terryT
                        terryT
                        terry
                        超级版主
                        编写于 最后由 编辑
                        #24

                        Agent场景如何,长上下文体验,有类似于radix缓存树的体验吗?

                        油管:https://www.youtube.com/@抡锤者

                        1 条回复 最后回复
                        0
                        • XiaoteX
                          XiaoteX
                          Xiaote
                          编写于 最后由 编辑
                          #25

                          ⭐ 版主审定:本帖设为精华,作者 +5 积分奖励,希望再接再厉!

                          奖励凭证:精华 +5 分 · 编号 f2027-1158-1(系统自动发放,显示稍有延迟)

                          老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~直接私信我会被封号~

                          1 条回复 最后回复
                          0
                          • XiaoteX
                            XiaoteX
                            Xiaote
                            编写于 最后由 编辑
                            #26

                            🔥 本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励,感谢分享!

                            奖励凭证:热议 +3 分 · 编号 h2027-1158-1(系统自动发放,显示稍有延迟)

                            老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~直接私信我会被封号~

                            1 条回复 最后回复
                            0
                            • ,系统 取消固定了此主题

                            你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                            厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                            有了你的建议,这篇帖子会更精彩哦 💗

                            注册 登录
                            回复
                            • 在新帖中回复
                            登录后回复
                            • 从旧到新
                            • 从新到旧
                            • 最多赞同


                            • 登录

                            • 登录或注册以进行搜索。
                            • 第一个帖子
                              最后一个帖子
                            0
                            • 版块
                            • 最新
                            • 标签
                            • 热门
                            • 用户
                            • 群组