跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
  1. 主页
  2. 版块
  3. AI Agent
  4. 7900 XTX 的可能性探索|单卡篇(四):魔法打败魔法 - 7900XTX Strata 引擎跑Qwen3.8 Flash-Next 快得让我怀疑人生

7900 XTX 的可能性探索|单卡篇(四):魔法打败魔法 - 7900XTX Strata 引擎跑Qwen3.8 Flash-Next 快得让我怀疑人生

已定时 已固定 已锁定 已移动 精华 热议 AI Agent
7900xtxstrataqwen-flash
26 帖子 10 发布者 1.8k 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • K kenshin

    能用,但还是尴尬,64G内存不够霍霍。继续跑27B了。

    A
    A
    applejuice
    技术大牛 劳动模范
    编写于 最后由 applejuice 编辑
    #15

    @kenshin 我的64gb内存也不够了
    买了显卡 现在到内存不够

    3090x2 + r9700

    1 条回复 最后回复
    0
    • K kenshin

      能用,但还是尴尬,64G内存不够霍霍。继续跑27B了。

      Ben LeeB
      Ben LeeB
      Ben Lee
      超凡大师
      编写于 最后由 编辑
      #16

      @kenshin 我也是64G内存,我这边在 7900 XTX + Strata 跑 Flash-Next 也踩过这个坑, 一开始测试的时候也是报内存不够,调整了几次就好了。

      Strata 的 --resident-cpu-experts 模式启动时对 系统 RAM 可用量要求很高,不是看你“装了多少 RAM”,而是看启动瞬间还有多少 available memory。
      我这边 Orca IQ3_XXS 的实测大概是:

      • expert resident RAM:约 31.95 GiB
      • prefill borrow:约 3.92 GiB
      • 再加模型运行、page cache、Strata 本身以及安全余量
        实际建议启动前至少留出 约 50 GiB 可用 RAM。
        我这台机器只有 64GB RAM,所以如果另一张卡上的 27B 服务、Hermes 或其他进程也在吃内存,Strata 就很容易在加载阶段失败,或者退回 mmap 路径,性能会明显掉。

      我最后的办法不是乱调参数,而是:

      1. 先看 MemAvailable,不要只看总内存。
      2. 启动 Strata 前先卸载/停掉占系统 RAM 很多的其他模型。
      3. 确保 swap 不在疯狂工作;能启动但一直 swap,速度也会很难看。
      4. 如果要跑我们那套高性能配置,尽量保留:
        --resident-cpu-experts
      5. 实在内存不够,可以不用 resident CPU experts、改走 mmap/streaming,但这是“能跑”的方案,不是我们测到 1000+ Prefill 的那套性能方案。

      其实都是我的本地Agent在搞,我就是一直给它鼓励和压力,它就自己搞出来了,哈哈

      1 条回复 最后回复
      1
      • xiaopbroX xiaopbro

        R9700失败了,
        image.jpeg

        Ben LeeB
        Ben LeeB
        Ben Lee
        超凡大师
        编写于 最后由 编辑
        #17

        @xiaopbro 这个看起来不像是 R9700 跑不了 Strata。我问了下 AI,更可能是 gfx1201 这边的编译 / ROCm 环境有问题。

        Strata 现在已经正式支持 R9700 / gfx1201,官方也有 R9700 实机跑通的记录。现在比较靠谱的路线,一个是 system ROCm 7.14,另一个就是直接走 Strata setup 自带的 TheRock 7.10 gfx120X。

        你现在这套是 ROCm 7.2.1 + clang 22,而且 stall report 已经显示 GPU kernel 基本没正常跑起来。要不要考虑先换到 Strata 官方推荐的 TheRock / gfx120X 环境再重新编一次试试?

        对了,我的 7900 XTX 那套手工 ROCm / hipBLASLt / WMMA 参数别原样照搬过去,那套是针对 gfx1100 调的,gfx1201 不是一回事。

        xiaopbroX 1 条回复 最后回复
        1
        • Ben LeeB Ben Lee

          @xiaopbro 这个看起来不像是 R9700 跑不了 Strata。我问了下 AI,更可能是 gfx1201 这边的编译 / ROCm 环境有问题。

          Strata 现在已经正式支持 R9700 / gfx1201,官方也有 R9700 实机跑通的记录。现在比较靠谱的路线,一个是 system ROCm 7.14,另一个就是直接走 Strata setup 自带的 TheRock 7.10 gfx120X。

          你现在这套是 ROCm 7.2.1 + clang 22,而且 stall report 已经显示 GPU kernel 基本没正常跑起来。要不要考虑先换到 Strata 官方推荐的 TheRock / gfx120X 环境再重新编一次试试?

          对了,我的 7900 XTX 那套手工 ROCm / hipBLASLt / WMMA 参数别原样照搬过去,那套是针对 gfx1100 调的,gfx1201 不是一回事。

          xiaopbroX
          xiaopbroX
          xiaopbro
          德高望重
          编写于 最后由 编辑
          #18

          @Ben-Lee 已经跑起来了, 就是用你说的TheRock 7.10 gfx120X这个

          Ben LeeB 1 条回复 最后回复
          0
          • xiaopbroX xiaopbro

            @Ben-Lee 已经跑起来了, 就是用你说的TheRock 7.10 gfx120X这个

            Ben LeeB
            Ben LeeB
            Ben Lee
            超凡大师
            编写于 最后由 编辑
            #19

            @xiaopbro 哦太好了,恭喜恭喜!我最近注意到,R9700 这条 RDNA4 / gfx1201 线的优化进展,感觉明显比 RDNA3 / gfx1100 快不少。很多新 kernel、WMMA、ROCm 适配好像都是先照顾 RDNA4。你这边如果把编译环境理顺,后面应该还有不少性能可以挖。

            xiaopbroX 1 条回复 最后回复
            0
            • Ben LeeB Ben Lee

              @xiaopbro 哦太好了,恭喜恭喜!我最近注意到,R9700 这条 RDNA4 / gfx1201 线的优化进展,感觉明显比 RDNA3 / gfx1100 快不少。很多新 kernel、WMMA、ROCm 适配好像都是先照顾 RDNA4。你这边如果把编译环境理顺,后面应该还有不少性能可以挖。

              xiaopbroX
              xiaopbroX
              xiaopbro
              德高望重
              编写于 最后由 编辑
              #20

              @Ben-Lee 哈哈,主要还是感谢大佬帖子的启发

              1 条回复 最后回复
              0
              • K
                K
                kenshin
                编写于 最后由 编辑
                #21

                这个方案出来后,内存又有理由再涨一波了。哈哈哈(苦笑······)

                Ben LeeB 1 条回复 最后回复
                0
                • Ben LeeB
                  Ben LeeB
                  Ben Lee
                  超凡大师
                  编写于 最后由 编辑
                  #22

                  @xiaopbro 我是纯小白!跟着真大佬在这个论坛里混,然后剽窃我的本地AI的成果发表论文😂

                  1 条回复 最后回复
                  0
                  • K kenshin

                    这个方案出来后,内存又有理由再涨一波了。哈哈哈(苦笑······)

                    Ben LeeB
                    Ben LeeB
                    Ben Lee
                    超凡大师
                    编写于 最后由 编辑
                    #23

                    @kenshin 其实27B已经很好了,24G以上显存都能跑,看在钱的份上,本地跑慢点就慢点,总归能熬到显卡和内存价格回归理性的一天。另外,类似turboQ这种KV压缩技术最近又有新的创新,硬件的潜力还能被社区大神们进一步挖掘。

                    1 条回复 最后回复
                    0
                    • ,terryT terry 固定了此主题
                    • terryT
                      terryT
                      terry
                      超级版主
                      编写于 最后由 编辑
                      #24

                      Agent场景如何,长上下文体验,有类似于radix缓存树的体验吗?

                      油管:https://www.youtube.com/@抡锤者

                      1 条回复 最后回复
                      0
                      • XiaoteX
                        XiaoteX
                        Xiaote
                        编写于 最后由 编辑
                        #25

                        ⭐ 版主审定:本帖设为精华,作者 +5 积分奖励,希望再接再厉!

                        奖励凭证:精华 +5 分 · 编号 f2027-1158-1(系统自动发放,显示稍有延迟)

                        老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~直接私信我会被封号~

                        1 条回复 最后回复
                        0
                        • XiaoteX
                          XiaoteX
                          Xiaote
                          编写于 最后由 编辑
                          #26

                          🔥 本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励,感谢分享!

                          奖励凭证:热议 +3 分 · 编号 h2027-1158-1(系统自动发放,显示稍有延迟)

                          老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~直接私信我会被封号~

                          1 条回复 最后回复
                          0
                          • ,系统 取消固定了此主题

                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                          有了你的建议,这篇帖子会更精彩哦 💗

                          注册 登录
                          回复
                          • 在新帖中回复
                          登录后回复
                          • 从旧到新
                          • 从新到旧
                          • 最多赞同


                          • 登录

                          • 登录或注册以进行搜索。
                          • 第一个帖子
                            最后一个帖子
                          0
                          • 版块
                          • 最新
                          • 标签
                          • 热门
                          • 用户
                          • 群组