跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 能不能让Strata Qwen Flash Next 指挥 Qwen 27B?

能不能让Strata Qwen Flash Next 指挥 Qwen 27B?

已定时 已固定 已锁定 已移动 LLM讨论区
strataqwen本地模型
13 帖子 8 发布者 509 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • jenaflexJ
    jenaflexJ
    jenaflex
    易有太极
    编写于 最后由 jenaflex 编辑
    #1

    如何最大化手头现有硬件?能不能让Strata Qwen Flash Next 指挥 Qwen 27B?

    DELL T7920工作站
    在北美不方便淘海鲜市场的情况下,DELL T7920工作站还是非常香的。
    我$300在本地拿下了一台 单CPU + 32GB DDR4 2666 + NV P2000亮机卡的配置。由于它自带了1100W电源(在220V电压下输出是1400W)。要知道在北美,一个1000W ATX电源就要$100多。32GB DDR4内存值$120,剩余相当于白送。我本地捡漏又花了$160,增加了64GB内存。

    我现在有台DELL T7920工作站,理论上能插双显卡。
    现在是单CPU,单R9700,96GB内存6通道插满(运行Proxmox,需要预留16GB给几个轻量VM和系统)。
    一块早年买的U.2 960GB Optane 905p PCIE3.0x4(延迟低,随机读写快,但持续传输不如 PCIE 4.0以上的NVME),安放Proxmox的虚拟机。

    以上配置跑Strata Qwen Flash Next 很香了,但看论坛里普遍反馈Flash Next的知识面虽然全,但代码的逻辑四维不如27B。

    ITX PC
    我还有一台ITX PC,平时的主力机(偶尔打打游戏)
    AMD 5900x + 32GB内存 + 7900XT 20GB(塞不进DELL工作站)。这个跑Qwen 27B用llama.cpp的框架 上下文保险只能开60k。

    问题

    1. 能不能让Flash Next做分析,指挥我的7900XT(就是上下文不太够)干活?补足Flash Next逻辑能力不足。不花一分钱。

    2. 有点心痒想给T7920加一张卡,但是军备竞赛也没有意义,够用就好。
      看图:
      a) 5070Ti 16GB没有双槽卡,约$1200,如果装插槽4,确实可以支持2.5slot 5070Ti (但是选择极其有限),并且会给插槽2的R9700喂热风。优点是可以玩一下N卡,万一以后有些50系新特性被优化了。
      b) 5060Ti 16GB有双槽卡,安装位置和R9700对调,这样不给R9700喂热风。但工作在PCIE3.0 x8 可能影响strata性能。相同优点
      c) 第二张R9700,现在很贵了$1600。如果我能用好现在的7900XT的话,好像也没啥必要性。
      d) 基本不可行的是:虽然安装CPU2能让顶部的PCIE插槽可用,但CPU2会占掉150W功耗,双CPU+双显卡,电源有点捉襟见肘了。

    DELL_T7920_PCIE.jpg

    fcmeF 1 条回复 最后回复
    1
    • A
      A
      applejuice
      王侯将相
      编写于 最后由 编辑
      #2

      看你所谓的指挥是怎样
      如果是Hermes 主agent 跑 strata 副agent 跑27b 是可以的

      其他的我就没试过了

      jenaflexJ 1 条回复 最后回复
      0
      • A applejuice

        看你所谓的指挥是怎样
        如果是Hermes 主agent 跑 strata 副agent 跑27b 是可以的

        其他的我就没试过了

        jenaflexJ
        jenaflexJ
        jenaflex
        易有太极
        编写于 最后由 编辑
        #3

        @applejuice
        就是背景知识和总体思路由 Flash Next提供,甚至拆分好可消化的步骤,驱动Qwen 27B(60k上下文)去具体写代码

        1 条回复 最后回复
        0
        • terryT
          terryT
          terry
          易有太极
          编写于 最后由 编辑
          #4

          我弟你就弄个开放式机架,用xtx+64G内存跑QFN就行了。如果非要买卡,就R9700,一步到位。

          油管:https://www.youtube.com/@抡锤者

          jenaflexJ 1 条回复 最后回复
          0
          • terryT terry

            我弟你就弄个开放式机架,用xtx+64G内存跑QFN就行了。如果非要买卡,就R9700,一步到位。

            jenaflexJ
            jenaflexJ
            jenaflex
            易有太极
            编写于 最后由 编辑
            #5

            @terry 我的是 7900xt 20GB,当时首发时候就买了,当时没遇到哥你的视频啊,特别后悔没一步到位xtx

            1 条回复 最后回复
            0
            • dardeaw fengD
              dardeaw fengD
              dardeaw feng
              硕果累累 贵族大夫
              编写于 最后由 编辑
              #6

              AI時代沒有啥不可以的 你這就是單純讓兩個agent交換對話而已呀,我是真的有再做開發的,代碼Q3.8FN我這一個月經驗是可以確實可以用,甚至成果比27B還要飽滿,但我是用Q4量化幹活的,Q2/Q3比較容易一直試錯(引號錯誤、位元錯誤)只能靠harness協助閉環拉回來

              1 条回复 最后回复
              0
              • stxpnetS
                stxpnetS
                stxpnet
                王侯将相
                编写于 最后由 编辑
                #7

                我现在是GLM5.3在线token plan指挥QFN3.8,我想移植一个小型私有ERP

                双卡3090 PCIE 4.0 16X/16X

                白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
                夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
                johnnybegoodJ 1 条回复 最后回复
                0
                • stxpnetS stxpnet

                  我现在是GLM5.3在线token plan指挥QFN3.8,我想移植一个小型私有ERP

                  johnnybegoodJ
                  johnnybegoodJ
                  johnnybegood
                  王侯将相
                  编写于 最后由 编辑
                  #8

                  @stxpnet 说:

                  GLM5.3在线token plan

                  GLM5.3在线token plan 多少钱买的。

                  1 条回复 最后回复
                  0
                  • jenaflexJ jenaflex

                    如何最大化手头现有硬件?能不能让Strata Qwen Flash Next 指挥 Qwen 27B?

                    DELL T7920工作站
                    在北美不方便淘海鲜市场的情况下,DELL T7920工作站还是非常香的。
                    我$300在本地拿下了一台 单CPU + 32GB DDR4 2666 + NV P2000亮机卡的配置。由于它自带了1100W电源(在220V电压下输出是1400W)。要知道在北美,一个1000W ATX电源就要$100多。32GB DDR4内存值$120,剩余相当于白送。我本地捡漏又花了$160,增加了64GB内存。

                    我现在有台DELL T7920工作站,理论上能插双显卡。
                    现在是单CPU,单R9700,96GB内存6通道插满(运行Proxmox,需要预留16GB给几个轻量VM和系统)。
                    一块早年买的U.2 960GB Optane 905p PCIE3.0x4(延迟低,随机读写快,但持续传输不如 PCIE 4.0以上的NVME),安放Proxmox的虚拟机。

                    以上配置跑Strata Qwen Flash Next 很香了,但看论坛里普遍反馈Flash Next的知识面虽然全,但代码的逻辑四维不如27B。

                    ITX PC
                    我还有一台ITX PC,平时的主力机(偶尔打打游戏)
                    AMD 5900x + 32GB内存 + 7900XT 20GB(塞不进DELL工作站)。这个跑Qwen 27B用llama.cpp的框架 上下文保险只能开60k。

                    问题

                    1. 能不能让Flash Next做分析,指挥我的7900XT(就是上下文不太够)干活?补足Flash Next逻辑能力不足。不花一分钱。

                    2. 有点心痒想给T7920加一张卡,但是军备竞赛也没有意义,够用就好。
                      看图:
                      a) 5070Ti 16GB没有双槽卡,约$1200,如果装插槽4,确实可以支持2.5slot 5070Ti (但是选择极其有限),并且会给插槽2的R9700喂热风。优点是可以玩一下N卡,万一以后有些50系新特性被优化了。
                      b) 5060Ti 16GB有双槽卡,安装位置和R9700对调,这样不给R9700喂热风。但工作在PCIE3.0 x8 可能影响strata性能。相同优点
                      c) 第二张R9700,现在很贵了$1600。如果我能用好现在的7900XT的话,好像也没啥必要性。
                      d) 基本不可行的是:虽然安装CPU2能让顶部的PCIE插槽可用,但CPU2会占掉150W功耗,双CPU+双显卡,电源有点捉襟见肘了。

                    DELL_T7920_PCIE.jpg

                    fcmeF
                    fcmeF
                    fcme
                    王侯将相
                    编写于 最后由 编辑
                    #9

                    @jenaflex
                    7920带双卡一点问题没有,我是7820。能搞单机就单机,双机耗电和维护比较麻烦。

                    https://github.com/halonc/AMD-R9700-rdna4-SGlang-Maxx

                    kos orK 1 条回复 最后回复
                    0
                    • fcmeF fcme

                      @jenaflex
                      7920带双卡一点问题没有,我是7820。能搞单机就单机,双机耗电和维护比较麻烦。

                      kos orK
                      kos orK
                      kos or
                      至尊皇帝
                      编写于 最后由 编辑
                      #10

                      @fcme said:

                      能搞单机就单机,双机耗电和维护比较麻烦

                      我也是發現機器太多,維護成本增加,管理難度也變高
                      唯一的好處是大概是一台機器故障了,有第二台機器可以使用

                      fcmeF 1 条回复 最后回复
                      0
                      • kos orK kos or

                        @fcme said:

                        能搞单机就单机,双机耗电和维护比较麻烦

                        我也是發現機器太多,維護成本增加,管理難度也變高
                        唯一的好處是大概是一台機器故障了,有第二台機器可以使用

                        fcmeF
                        fcmeF
                        fcme
                        王侯将相
                        编写于 最后由 编辑
                        #11

                        @kos-or
                        是呢,所以最佳方案是pve,哪怕是只有一个硬件,但是还是可以模拟多机的操作。 而且出问题回滚特别方便

                        https://github.com/halonc/AMD-R9700-rdna4-SGlang-Maxx

                        jenaflexJ 1 条回复 最后回复
                        1
                        • fcmeF fcme

                          @kos-or
                          是呢,所以最佳方案是pve,哪怕是只有一个硬件,但是还是可以模拟多机的操作。 而且出问题回滚特别方便

                          jenaflexJ
                          jenaflexJ
                          jenaflex
                          易有太极
                          编写于 最后由 编辑
                          #12

                          @fcme 我现在就是PVE,唯一的代价是需要预留8-16GB给Proxmox系统,折腾新系统直接从基础款的template克隆,PCiE直通的损失在5%以内。折腾时,随时快照一下,搞坏了可以回滚。

                          fcmeF 1 条回复 最后回复
                          0
                          • jenaflexJ jenaflex

                            @fcme 我现在就是PVE,唯一的代价是需要预留8-16GB给Proxmox系统,折腾新系统直接从基础款的template克隆,PCiE直通的损失在5%以内。折腾时,随时快照一下,搞坏了可以回滚。

                            fcmeF
                            fcmeF
                            fcme
                            王侯将相
                            编写于 最后由 编辑
                            #13

                            @jenaflex
                            应该还可以更少,因为那个只是一个壳。但是相比每次都折腾新的系统,这个快照恢复简直是神器中的神器

                            https://github.com/halonc/AMD-R9700-rdna4-SGlang-Maxx

                            1 条回复 最后回复
                            0

                            你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                            厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                            有了你的建议,这篇帖子会更精彩哦 💗

                            注册 登录
                            回复
                            • 在新帖中回复
                            登录后回复
                            • 从旧到新
                            • 从新到旧
                            • 最多赞同


                            • 登录

                            • 登录或注册以进行搜索。
                            • 第一个帖子
                              最后一个帖子
                            0
                            • 版块
                            • 最新
                            • 标签
                            • 热门
                            • 用户
                            • 群组