跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
  1. 主页
  2. 版块
  3. LLM讨论区
  4. Strata v0.1.30 支援 RX7900 XTX / AI Pro R9700 跑 Qwen3.8-Flash-NEXT

Strata v0.1.30 支援 RX7900 XTX / AI Pro R9700 跑 Qwen3.8-Flash-NEXT

已定时 已固定 已锁定 已移动 热议 LLM讨论区
strata7900xtxqwen-flash
36 帖子 14 发布者 1.9k 浏览 2 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • J
    J
    jatwu
    德高望重
    编写于 最后由 jatwu 编辑
    #7
    单流 24 题 1 路 并发总吞吐 预填 专家命中率 暗号
    R9700 单卡(Strata,我们移植) 64.3 70.6 66~82(不涨) 1575 t/s 98~99.8% 4/4
    XTX(Strata) 63.9 68.4 62~77 757 88~97% 4/4
    1 条回复 最后回复
    2
    • Ben LeeB Ben Lee

      @kos-or 我正在测,这个周末前发我的系列帖子之第四篇。

      terryT
      terryT
      terry
      超级版主
      编写于 最后由 编辑
      #8

      @Ben-Lee 很期待,如果xtx能跑,那就是真的牛逼了,单卡也起飞了。

      油管:https://www.youtube.com/@抡锤者

      Ben LeeB 2 条回复 最后回复
      1
      • terryT terry

        @Ben-Lee 很期待,如果xtx能跑,那就是真的牛逼了,单卡也起飞了。

        Ben LeeB
        Ben LeeB
        Ben Lee
        超凡大师
        编写于 最后由 Ben Lee 编辑
        #9

        @terry 特哥,给你看下目前的测试成绩,7900XTX单卡,DDR5 64G,跑Flash Next - prefill/decode 中位数(tok/s)分别是 8K 799.6/95.9、32K 661.6/88.8、64K 535.6/75.3、128K 387.9/57.5、192K 303.9/46.0。 但是先卖个关子,等我发帖看细节。

        这TM都快比我单卡27B还牛X了

        kos orK 1 条回复 最后回复
        2
        • Ben LeeB Ben Lee

          @terry 特哥,给你看下目前的测试成绩,7900XTX单卡,DDR5 64G,跑Flash Next - prefill/decode 中位数(tok/s)分别是 8K 799.6/95.9、32K 661.6/88.8、64K 535.6/75.3、128K 387.9/57.5、192K 303.9/46.0。 但是先卖个关子,等我发帖看细节。

          这TM都快比我单卡27B还牛X了

          kos orK
          kos orK
          kos or
          超凡大师
          编写于 最后由 kos or 编辑
          #10

          @Ben-Lee said:

          DDR5 64G

          DDR5 記憶體速度可能會影響 產出速度
          包含PCIe 速度 最高峰瞬間有 29GB/s 的資料傳輸量, 平均約 10 GB/s
          接近我的PCIe 4.0 x 16 32GB/s 的理論值了

          1 条回复 最后回复
          0
          • N
            N
            naniandemeng
            编写于 最后由 编辑
            #11

            Screenshot_2026-09-30-23-05-43-33_82b10d9f3584360f08225ddcebbb4f6d.jpg
            我的测试数据是这样的,不知道为什么decode比你的差这么多

            terryT 1 条回复 最后回复
            0
            • N
              N
              naniandemeng
              编写于 最后由 编辑
              #12

              prefill调优后特别稳,我是x99+ddr3 64G+7900xtx

              johnnybegoodJ 1 条回复 最后回复
              0
              • N naniandemeng

                prefill调优后特别稳,我是x99+ddr3 64G+7900xtx

                johnnybegoodJ
                johnnybegoodJ
                johnnybegood
                超凡大师
                编写于 最后由 编辑
                #13

                @naniandemeng 这个是 IQ2_XS 模型, 可能工作起来幻觉和问题比较多了, 最低也得用 IQ3_XXS吧

                N terryT 2 条回复 最后回复
                0
                • johnnybegoodJ johnnybegood

                  @naniandemeng 这个是 IQ2_XS 模型, 可能工作起来幻觉和问题比较多了, 最低也得用 IQ3_XXS吧

                  N
                  N
                  naniandemeng
                  编写于 最后由 编辑
                  #14

                  @johnnybegood 按官方推荐设置部署的,用deepseek简单测试了下智商与能力14/14全过,先跑起来,后面有需要再换大点的模型。

                  1 条回复 最后回复
                  0
                  • N naniandemeng

                    Screenshot_2026-09-30-23-05-43-33_82b10d9f3584360f08225ddcebbb4f6d.jpg
                    我的测试数据是这样的,不知道为什么decode比你的差这么多

                    terryT
                    terryT
                    terry
                    超级版主
                    编写于 最后由 编辑
                    #15

                    @naniandemeng 我弟这么厉害?详细帖子呢?

                    油管:https://www.youtube.com/@抡锤者

                    N 1 条回复 最后回复
                    0
                    • johnnybegoodJ johnnybegood

                      @naniandemeng 这个是 IQ2_XS 模型, 可能工作起来幻觉和问题比较多了, 最低也得用 IQ3_XXS吧

                      terryT
                      terryT
                      terry
                      超级版主
                      编写于 最后由 编辑
                      #16

                      @johnnybegood IQ3实测和Q4差距不大吗?

                      油管:https://www.youtube.com/@抡锤者

                      johnnybegoodJ 1 条回复 最后回复
                      0
                      • stxpnetS
                        stxpnetS
                        stxpnet
                        超凡大师
                        编写于 最后由 编辑
                        #17

                        做点实际的作品,看看速度和质量呢?

                        請使用單個獨立的 HTML 文件,編寫一個基於 Three.js 的 3D 体素風格(Voxel Style)「寶塔花園」互動網頁。代碼必須包含完整的 HTML、CSS 和 JavaScript,並且可以直接在 Chrome 瀏覽器中運行。
                        核心場景要求:
                        1. 中式寶塔(Pagoda): 在場景中央建立一座多層(如 5 层或 9 层)的中式寶塔。外觀需具備體素方塊特徵,擁有層層收分的飛簷和寶頂結構。
                        2. 禪意花園(Garden): 圍繞寶塔布置花園。包含幾棵盛開的體素粉色櫻花樹、環繞的綠色竹林、一條用方塊鋪成的小徑,以及一個清澈的池塘。
                        3. 動態水體(Water): 池塘需有動態的水面微波效果,並設計一個簡單的體素小瀑布,水流有向下的粒子或位移效果。
                        視覺與交互要求:
                        1. 動態光影切換: 介面上設計一個按鈕(或自動循環),可在「清晨、正午、日落、深夜」四種晝夜環境光影(Lighting)之間切換,不同时段会有太阳或月亮在适当位置(月亮的盈缺为随机),寶塔的窗戶在深夜會發出暖黃色的光。
                        2. 相機控制: 整合 OrbitControls,允許用戶通過鼠標進行旋轉、縮放和拖拽視角。
                        3. 代碼規範: 所有 Three.js 庫(包括主庫、OrbitControls 等)請使用穩定且可用的 CDN 鏈接引入。代碼結構清晰,一次性生成完整可運行的單文件,不要使用省略號。
                        4.先规划需求,然后再拆分组件模块,以经典的软件工程思想来完成本项目。 
                        5.尽快做出MVP,减少视觉测试,处理所有语法或运行错误,如需测试可在最后阶段 邀请人类协助进行简单测试。
                        

                        双卡3090 PCIE 4.0 16X/16X

                        白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
                        夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
                        kos orK 张光璞张 3 条回复 最后回复
                        1
                        • terryT terry

                          @johnnybegood IQ3实测和Q4差距不大吗?

                          johnnybegoodJ
                          johnnybegoodJ
                          johnnybegood
                          超凡大师
                          编写于 最后由 johnnybegood 编辑
                          #18

                          @terry IQ3 实测跟 Q4_K_M 差距不太大, 跟 Q4_K_S 差不多,只要不是太小众的用法,那体感基本是一样一样的。 但是最稳的长程模型还是最少是 Q5_K_S, 所以一般来说我能用 IQ4 就用 IQ4,基本能达到 Q4.6 这样的感觉,尤其是文件名里面加了 UD 的, 那更没问题了。

                          1 条回复 最后回复
                          1
                          • stxpnetS stxpnet

                            做点实际的作品,看看速度和质量呢?

                            請使用單個獨立的 HTML 文件,編寫一個基於 Three.js 的 3D 体素風格(Voxel Style)「寶塔花園」互動網頁。代碼必須包含完整的 HTML、CSS 和 JavaScript,並且可以直接在 Chrome 瀏覽器中運行。
                            核心場景要求:
                            1. 中式寶塔(Pagoda): 在場景中央建立一座多層(如 5 层或 9 层)的中式寶塔。外觀需具備體素方塊特徵,擁有層層收分的飛簷和寶頂結構。
                            2. 禪意花園(Garden): 圍繞寶塔布置花園。包含幾棵盛開的體素粉色櫻花樹、環繞的綠色竹林、一條用方塊鋪成的小徑,以及一個清澈的池塘。
                            3. 動態水體(Water): 池塘需有動態的水面微波效果,並設計一個簡單的體素小瀑布,水流有向下的粒子或位移效果。
                            視覺與交互要求:
                            1. 動態光影切換: 介面上設計一個按鈕(或自動循環),可在「清晨、正午、日落、深夜」四種晝夜環境光影(Lighting)之間切換,不同时段会有太阳或月亮在适当位置(月亮的盈缺为随机),寶塔的窗戶在深夜會發出暖黃色的光。
                            2. 相機控制: 整合 OrbitControls,允許用戶通過鼠標進行旋轉、縮放和拖拽視角。
                            3. 代碼規範: 所有 Three.js 庫(包括主庫、OrbitControls 等)請使用穩定且可用的 CDN 鏈接引入。代碼結構清晰,一次性生成完整可運行的單文件,不要使用省略號。
                            4.先规划需求,然后再拆分组件模块,以经典的软件工程思想来完成本项目。 
                            5.尽快做出MVP,减少视觉测试,处理所有语法或运行错误,如需测试可在最后阶段 邀请人类协助进行简单测试。
                            
                            kos orK
                            kos orK
                            kos or
                            超凡大师
                            编写于 最后由 kos or 编辑
                            #19

                            @stxpnet said:

                            做点实际的作品,看看速度和质量呢?

                            RTX 5070 Ti - QFN-IQ3_XXS Reasoning High, 速度很慢 跑了4~5個小時, 但品質不錯

                            AI 西洋棋對戰: 本地 AI Qwen3.8-27B-Q4-GPU2 (RX7900XTX 24G) vs. AI-QFN-GPU1 (RTX5070 Ti 16G)
                            image.jpeg

                            johnnybegoodJ 1 条回复 最后回复
                            1
                            • kos orK kos or

                              @stxpnet said:

                              做点实际的作品,看看速度和质量呢?

                              RTX 5070 Ti - QFN-IQ3_XXS Reasoning High, 速度很慢 跑了4~5個小時, 但品質不錯

                              AI 西洋棋對戰: 本地 AI Qwen3.8-27B-Q4-GPU2 (RX7900XTX 24G) vs. AI-QFN-GPU1 (RTX5070 Ti 16G)
                              image.jpeg

                              johnnybegoodJ
                              johnnybegoodJ
                              johnnybegood
                              超凡大师
                              编写于 最后由 johnnybegood 编辑
                              #20

                              @kos-or 我发现AI下棋很笨的, 总之我之前做了几个下棋游戏, 但是即使难度开到最高, 他们也战胜不了人,我感觉是提示词没有用对, 用什么提示词能让他们下棋的水平达到专业级的水平呢?

                              kos orK 1 条回复 最后回复
                              0
                              • kos orK kos or

                                Strata v0.1.30 : An AMD Radeon RX 7900 XT / XTX, RX 9070 / 9070 XT or Radeon AI PRO R9700 on Linux works too (experimental): ./setup.sh --backend hip, chosen by itself on a PC with no NVIDIA card Strata can use. It installs ROCm without sudo and compiles the engine (one GPU, no images yet). Details: AMD HIP.

                                有7900 XTX 的使用者可以實測看看, 已經有網友實測成功 decode 55 tok/s

                                Strata 已把 AMD GPU 的 HIP backend 正式 merge 進主分支,因此 RX 7900 XTX 現在可以直接跑 Strata v0.1.27。
                                https://github.com/Niko1221/Strata

                                我該選哪個模型?

                                以下差異主要在於模型大小(同一個模型,只是壓縮程度不同):

                                模型 RAM + VRAM 需求 速度 品質
                                Q2_0 37.6 GB 最快 良好
                                IQ2_XS 39.2 GB 快 更好(推薦)
                                IQ3_XXS 47.0 GB 較慢 很優秀
                                IQ3_S 54.8 GB 最慢 最佳:在已公布的測試中,表現可媲美完整未壓縮模型(僅針對原始模型測試)

                                LCZ論壇實作

                                7900 XTX 的可能性探索|单卡篇(四):魔法打败魔法 - 7900XTX Strata 引擎跑Qwen3.8 Flash-Next 快得让你怀疑人生 by Ben Lee

                                至於 Nvidia顯卡 8G, 12G, 16G, 24G, 32G 的使用者請參考此帖
                                RTX 3080 20G 单卡跑 Qwen3.8-Flash-Next IQ2_XS:Strata 上机实测(128K 上下文 / int8 KV / MTP) by Simo
                                不管你信不信, 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了! by Johnny

                                Strata PR #121 2026-09-29 的 commit 是 「Add gfx1100 HIP support with tuned prefill and bounded expert uploads」,目標就是 RX 7900 XT/XTX(RDNA3 / gfx1100)。
                                HIP 是什麼?

                                技術 角色
                                NVIDIA CUDA NVIDIA GPU programming/runtime stack
                                AMD HIP 類 CUDA 的 GPU programming API/runtime
                                ROCm AMD 完整 GPU compute platform
                                hipBLAS / hipBLASLt AMD 對應 cuBLAS / cuBLASLt 的矩陣運算 library
                                V
                                V
                                vosrock
                                德高望重 劳动模范
                                编写于 最后由 编辑
                                #21

                                @kos-or 大佬给这位大佬提要求,让他官方支持IQ4量化

                                kos orK 1 条回复 最后回复
                                0
                                • johnnybegoodJ johnnybegood

                                  @kos-or 我发现AI下棋很笨的, 总之我之前做了几个下棋游戏, 但是即使难度开到最高, 他们也战胜不了人,我感觉是提示词没有用对, 用什么提示词能让他们下棋的水平达到专业级的水平呢?

                                  kos orK
                                  kos orK
                                  kos or
                                  超凡大师
                                  编写于 最后由 kos or 编辑
                                  #22

                                  @johnnybegood said:

                                  我发现AI下棋很笨的, 总之我之前做了几个下棋游戏, 但是即使难度开到最高, 他们也战胜不了人

                                  1. 可以試試 把API endpoints 接上 GTP6.1-SOL vs. Claude Opus 5.5 對戰
                                  2. 可以讓 GTP6.1-SOL優化你的下棋游戏 像你說的 強化提示词
                                  3. 調整參數:把LLM reasoning efforts "xhigh", max_token 加大 給足夠大的思考空間

                                  才剛做好, 還在優化, Debugging, 看Local LLM雙方能對戰到第幾手

                                  1 条回复 最后回复
                                  0
                                  • V vosrock

                                    @kos-or 大佬给这位大佬提要求,让他官方支持IQ4量化

                                    kos orK
                                    kos orK
                                    kos or
                                    超凡大师
                                    编写于 最后由 编辑
                                    #23

                                    @vosrock

                                    Nikko他可能很忙正在跟Claude 拼commits 😂
                                    IQ4量化 應該也能跑吧 你跑了沒成功嗎?

                                    1 条回复 最后回复
                                    0
                                    • V
                                      V
                                      vosrock
                                      德高望重 劳动模范
                                      编写于 最后由 编辑
                                      #24

                                      我没找到合适的模型,下载了UD的IQ4_XS,说里面有部分层的量化格式不支持,尝试自己用AI量化并合并文件后,可以载入,但是无法推理一旦推理就直接退出

                                      1 条回复 最后回复
                                      0
                                      • kos orK
                                        kos orK
                                        kos or
                                        超凡大师
                                        编写于 最后由 编辑
                                        #25

                                        看來只支援這些 LLMs

                                        image.jpeg

                                        1 条回复 最后回复
                                        0
                                        • terryT terry

                                          @Ben-Lee 很期待,如果xtx能跑,那就是真的牛逼了,单卡也起飞了。

                                          Ben LeeB
                                          Ben LeeB
                                          Ben Lee
                                          超凡大师
                                          编写于 最后由 编辑
                                          #26

                                          @terry 特哥,不是吹牛B,这个Strata是真牛B https://lcz.me/topic/2027

                                          1 条回复 最后回复
                                          0

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组