跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
  1. 主页
  2. 版块
  3. LLM讨论区
  4. Qwen Flash Next for AMD R9700

Qwen Flash Next for AMD R9700

已定时 已固定 已锁定 已移动 LLM讨论区
r9700qwen-flashstrata
7 帖子 5 发布者 253 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • LC LCL
    LC LCL
    LC LC
    编写于 最后由 编辑
    #1

    https://github.com/lcchan0525sg/Qwen-Flash-Next-Strata-for-AMD-R9700

    适用于 AMD R9700 的 Qwen Flash Next(基于 Strata);包含安装指南、性能调优、基准测试及第三方声明的源码分发包。

    Radeon AI PRO R9700、Ryzen 9 5900X、128 GiB 内存、IQ3_S 量化、配置 128K 上下文长度,且 CPU 视觉功能处于空闲状态。输出速率 45 to 56 token/s

    欢迎评论

    1 条回复 最后回复
    0
    • LC LCL
      LC LCL
      LC LC
      编写于 最后由 编辑
      #2

      https://github.com/Niko1221/Strata
      原项目已经支持 AMD 显卡,我的项目只是在此基础上进行了一些调整优化。

      1 条回复 最后回复
      0
      • kos orK
        kos orK
        kos or
        超凡大师
        编写于 最后由 kos or 编辑
        #3

        Strata QFN 對於上下文长度好像沒什麼限制 只要内存足夠

        "Qwen3.8-Flash-Next 原生最大 Context 為 262,144 tokens(256K),透過 YaRN 可擴展至 1,000,000 tokens(1M)。"

        E 1 条回复 最后回复
        0
        • kos orK kos or

          Strata QFN 對於上下文长度好像沒什麼限制 只要内存足夠

          "Qwen3.8-Flash-Next 原生最大 Context 為 262,144 tokens(256K),透過 YaRN 可擴展至 1,000,000 tokens(1M)。"

          E
          E
          exe127
          劳动模范
          编写于 最后由 编辑
          #4

          @kos-or strata 用的125B輸出的結果真的會比 27B更強嗎?

          张光璞张 kos orK 2 条回复 最后回复
          0
          • E exe127

            @kos-or strata 用的125B輸出的結果真的會比 27B更強嗎?

            张光璞张
            张光璞张
            张光璞
            技术大牛 劳动模范
            编写于 最后由 编辑
            #5

            @exe127 说:

            @kos-or strata 用的125B輸出的結果真的會比 27B更強嗎?

            Q3_S 现在日常办公感觉比以前的MXFP4 要强,毕竟模型体量在这里。

            1 条回复 最后回复
            0
            • E exe127

              @kos-or strata 用的125B輸出的結果真的會比 27B更強嗎?

              kos orK
              kos orK
              kos or
              超凡大师
              编写于 最后由 编辑
              #6

              @exe127 said:

              125B輸出的結果真的會比 27B更強嗎?

              我也非常好奇這一點 兩者還沒對決完畢

              不過可以先參考大家的使用體驗 (每個人使用的量化程度不同 框架不同 可能感受也會不同) :

              體感經驗 哪一個強?? Qwen3.8-Flash vs. Qwen3.8-27B
              https://lcz.me/post/22008

              目前來說 確定Flash 比較強的是 "美感" 和 顯卡溫度比較低

              1 条回复 最后回复
              0
              • stxpnetS
                stxpnetS
                stxpnet
                超凡大师
                编写于 最后由 编辑
                #7

                QFN 精确编码可能不如27B。但是一般的代码编写我感觉足够用了。
                另外我用它来识别报表图片(主要内容是员工手写的产品数据,还有员工姓名),总体感比27B又快又准。

                双卡3090 PCIE 4.0 16X/16X

                白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
                夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
                1 条回复 最后回复
                0

                你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                有了你的建议,这篇帖子会更精彩哦 💗

                注册 登录
                回复
                • 在新帖中回复
                登录后回复
                • 从旧到新
                • 从新到旧
                • 最多赞同


                • 登录

                • 登录或注册以进行搜索。
                • 第一个帖子
                  最后一个帖子
                0
                • 版块
                • 最新
                • 标签
                • 热门
                • 用户
                • 群组