跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 64GB vs 96GB跑Strata Flash-Next

64GB vs 96GB跑Strata Flash-Next

已定时 已固定 已锁定 已移动 热议 LLM讨论区
strataqwen-flash本地模型
26 帖子 12 发布者 435 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • Henry Chiu 0H
    Henry Chiu 0H
    Henry Chiu 0
    编写于 最后由 编辑
    #1

    看見各位大大都在跑分和測試, 想知道內存對使用體感的差別. 都知道最好能上128GB, 但預算不夠, 96GB跟64GB相差3千塊, 在糾結. 沒有剛需, 但比較多用各式MCP, 如blender/comfyui/aftereffect/C4D....等, 只是剛好要多組一台機, 就覺得不跑白不跑. 如果Flash-Next跑在64GB上系統其實還有空間多工, 就想省下3千塊,還是大大覺得現在省3千塊, 之後就要6千塊, 哈哈. 要不跑27B算了.

    J Z 0J 1 条回复 最后回复
    0
    • paul houP
      paul houP
      paul hou
      德高望重 劳动模范
      编写于 最后由 编辑
      #2

      我只有32g ddr4 還是勉強跑起來了。

      Henry Chiu 0H 1 条回复 最后回复
      1
      • paul houP paul hou

        我只有32g ddr4 還是勉強跑起來了。

        Henry Chiu 0H
        Henry Chiu 0H
        Henry Chiu 0
        编写于 最后由 编辑
        #3

        @paul-hou 對, 我相信64GB絕對能跑起來, 但想要同時能順暢互動+輕度工作, 不會開個瀏覽器或開個PS畫圖都很慢, 想看看有沒有大大分享經驗.

        1 条回复 最后回复
        0
        • E
          E
          exllm
          德高望重
          编写于 最后由 编辑
          #4

          如果是linux, 64G应该就能跑起来, 但比较紧张, 我是96G, 跑IQ3_S 512k上下文, 系统内存占用 57G

          1 条回复 最后回复
          0
          • A
            A
            applejuice
            技术大牛 劳动模范
            编写于 最后由 applejuice 编辑
            #5

            我刚好就是从64gb 去256gb
            没差别
            但是不觉得可以同时开comfyui
            再但是 你单张显卡也不可能 同时开strata 跟comfy ui

            Henry Chiu 0H 1 条回复 最后回复
            1
            • Xiaoyong SX
              Xiaoyong SX
              Xiaoyong S
              编写于 最后由 编辑
              #6

              16G显存,64G内存,Strata起来内存就57GB了,显存基本满了。开浏览器没问题,轻度编辑器也行,但是PS还是不用试了吧,它也是内存大户。也没显存给comfy ui的。

              1 条回复 最后回复
              1
              • A applejuice

                我刚好就是从64gb 去256gb
                没差别
                但是不觉得可以同时开comfyui
                再但是 你单张显卡也不可能 同时开strata 跟comfy ui

                Henry Chiu 0H
                Henry Chiu 0H
                Henry Chiu 0
                编写于 最后由 编辑
                #7

                @applejuice 謝謝回應, 很有參考價值. 就是64/96GB對跑Strata沒有太大分別, 但想同時做些輕度任務, 96GB就流暢許多, 這樣理解嗎?

                A 1 条回复 最后回复
                0
                • Henry Chiu 0H Henry Chiu 0

                  @applejuice 謝謝回應, 很有參考價值. 就是64/96GB對跑Strata沒有太大分別, 但想同時做些輕度任務, 96GB就流暢許多, 這樣理解嗎?

                  A
                  A
                  applejuice
                  技术大牛 劳动模范
                  编写于 最后由 编辑
                  #8

                  @Henry-Chiu-0 就是这样 但是我是无头Ubuntu

                  1 条回复 最后回复
                  0
                  • Henry Chiu 0H
                    Henry Chiu 0H
                    Henry Chiu 0
                    编写于 最后由 编辑
                    #9

                    如果是這樣, 那是不是分開兩台機, 一台A只負責跑Strata flash next或27B, 另一台B跑MCP/comfyui, 需要時再叫A連接到B操作B, 這樣也可行嗎? 那A只要64GB也好像可以了.

                    1 条回复 最后回复
                    0
                    • A
                      A
                      applejuice
                      技术大牛 劳动模范
                      编写于 最后由 编辑
                      #10

                      如果两个都要同时跑 也只有这样
                      不然就x99服务器 插2张卡

                      1 条回复 最后回复
                      1
                      • farmer nodeF
                        farmer nodeF
                        farmer node
                        德高望重 劳动模范
                        编写于 最后由 编辑
                        #11

                        我也是无头Ubuntu ,2*7900xtx , EYPC, DDR4 128G, 128G 刚好同时跑 strata 和生视屏,内存刚够,除非你不同时跑, 或者是 跑 27b 稠密模型,那么是每问题的。

                        Henry Chiu 0H 1 条回复 最后回复
                        1
                        • farmer nodeF farmer node

                          我也是无头Ubuntu ,2*7900xtx , EYPC, DDR4 128G, 128G 刚好同时跑 strata 和生视屏,内存刚够,除非你不同时跑, 或者是 跑 27b 稠密模型,那么是每问题的。

                          Henry Chiu 0H
                          Henry Chiu 0H
                          Henry Chiu 0
                          编写于 最后由 编辑
                          #12

                          @farmer-node 了解. 如果單機只跑flash next , 64GB都足夠有良好體驗對嗎?因為我找到更便宜方案, 現在64GB跟96GB相差了接近7000塊, 如果多出來的32GB對單機只跑flash next沒有大分別, 真的不值得加了.

                          farmer nodeF 1 条回复 最后回复
                          0
                          • XIUNAN ZHIX
                            XIUNAN ZHIX
                            XIUNAN ZHI
                            编写于 最后由 编辑
                            #13

                            5060ti 16g + 128g DDR4 3200 , Strata IQ3_XXS , decode 70tps. 但是,IQ3 精度不行,agent task 连续运行5次,都失败了,失败原因: 模型输出内容 pydantic 验证失败,同一个task ,我用在线的Ds v4,本地部署的 qwen3.8 27b FP8 ,都可以完成。 这个agent task,其实就是一个work flow,step 与 step 之间的LLM output需要加工处理。因此,在一些high quality要求的场景,最好有Q8以上精度,除非任务本身对正确率没有要求。

                            Henry Chiu 0H 1 条回复 最后回复
                            1
                            • XIUNAN ZHIX XIUNAN ZHI

                              5060ti 16g + 128g DDR4 3200 , Strata IQ3_XXS , decode 70tps. 但是,IQ3 精度不行,agent task 连续运行5次,都失败了,失败原因: 模型输出内容 pydantic 验证失败,同一个task ,我用在线的Ds v4,本地部署的 qwen3.8 27b FP8 ,都可以完成。 这个agent task,其实就是一个work flow,step 与 step 之间的LLM output需要加工处理。因此,在一些high quality要求的场景,最好有Q8以上精度,除非任务本身对正确率没有要求。

                              Henry Chiu 0H
                              Henry Chiu 0H
                              Henry Chiu 0
                              编写于 最后由 编辑
                              #14

                              @XIUNAN-ZHI 暫時預算不夠去128gb, haha, 只有24GB卡跑27B. 所以我才糾結要不要96GB ram 跑flash next.

                              XIUNAN ZHIX 1 条回复 最后回复
                              0
                              • he wangaH
                                he wangaH
                                he wanga
                                编写于 最后由 he wanga 编辑
                                #15

                                我覺得是96GB,並且未來預期升至128GB,
                                因為我目前是64GB,IQ3_S + 256K系統內存只剩7~9GB浮動
                                當然這是case by case,不過有些耳聞IQ4是比較夠用的,未來能保留升級空間也好
                                況且如果你是想一起執行dsh或hermes等agent,那勢必還得留出20~30GB剩餘浮動內存好

                                1 条回复 最后回复
                                1
                                • Henry Chiu 0H Henry Chiu 0

                                  @XIUNAN-ZHI 暫時預算不夠去128gb, haha, 只有24GB卡跑27B. 所以我才糾結要不要96GB ram 跑flash next.

                                  XIUNAN ZHIX
                                  XIUNAN ZHIX
                                  XIUNAN ZHI
                                  编写于 最后由 编辑
                                  #16

                                  @Henry-Chiu-0 普通内存不算贵吧,如果服务器内存就算了

                                  Henry Chiu 0H 1 条回复 最后回复
                                  0
                                  • stxpnetS
                                    stxpnetS
                                    stxpnet
                                    超凡大师
                                    编写于 最后由 stxpnet 编辑
                                    #17

                                    别人的,V100 4卡。96G显存【仔细看,他的是32+32+16+16】,QFN 3.8 Q6_K_XL,写出来的鹈鹕:

                                    【128GB RAM + 96GB VRAM + Strata = beyond expectations. Qwen3.8-Flash Q6_K_XL: 100+ TPS, 1200+ prefill. That's all I need. Q6 quality is a dream for local LLMs.】

                                    image.jpeg
                                    image.jpeg

                                    另外说个题外话,我在X上面看 STRATA的作者,应该是个老美,感觉非常负责。如果你的硬件比较典型,又觉得还没发挥到极致,可以私信把机器控制权给他,他远程用CLUADE了解情况,升级代码。 过几天代码又会变强。 这人改变了我对老美的看法。

                                    双卡3090 PCIE 4.0 16X/16X

                                    白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
                                    夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
                                    XIUNAN ZHIX 1 条回复 最后回复
                                    0
                                    • XIUNAN ZHIX XIUNAN ZHI

                                      @Henry-Chiu-0 普通内存不算贵吧,如果服务器内存就算了

                                      Henry Chiu 0H
                                      Henry Chiu 0H
                                      Henry Chiu 0
                                      编写于 最后由 编辑
                                      #18

                                      @XIUNAN-ZHI 😁 其實也不算貴, 只是該組合64GB跟96GB差距是7000塊, 覺得性價比是否值得

                                      1 条回复 最后回复
                                      0
                                      • stxpnetS stxpnet

                                        别人的,V100 4卡。96G显存【仔细看,他的是32+32+16+16】,QFN 3.8 Q6_K_XL,写出来的鹈鹕:

                                        【128GB RAM + 96GB VRAM + Strata = beyond expectations. Qwen3.8-Flash Q6_K_XL: 100+ TPS, 1200+ prefill. That's all I need. Q6 quality is a dream for local LLMs.】

                                        image.jpeg
                                        image.jpeg

                                        另外说个题外话,我在X上面看 STRATA的作者,应该是个老美,感觉非常负责。如果你的硬件比较典型,又觉得还没发挥到极致,可以私信把机器控制权给他,他远程用CLUADE了解情况,升级代码。 过几天代码又会变强。 这人改变了我对老美的看法。

                                        XIUNAN ZHIX
                                        XIUNAN ZHIX
                                        XIUNAN ZHI
                                        编写于 最后由 编辑
                                        #19

                                        @stxpnet 支持多卡了吗?我以为只能单卡。Q6精度,有时间我也试试。

                                        1 条回复 最后回复
                                        0
                                        • Henry Chiu 0H Henry Chiu 0

                                          @farmer-node 了解. 如果單機只跑flash next , 64GB都足夠有良好體驗對嗎?因為我找到更便宜方案, 現在64GB跟96GB相差了接近7000塊, 如果多出來的32GB對單機只跑flash next沒有大分別, 真的不值得加了.

                                          farmer nodeF
                                          farmer nodeF
                                          farmer node
                                          德高望重 劳动模范
                                          编写于 最后由 编辑
                                          #20

                                          @Henry-Chiu-0 跑都能跑,64G 只是刚好够门槛,跑Strata IQ3_XXS , Strata IQ3_S可能也够,但是你说的其他的更多服务就不要想了。想要更好的体验 还是用96G ,而且后续可能还有4.0 flash next ,内存还是越大越好。

                                          1 条回复 最后回复
                                          1

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组