跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 让本地27B(或任意)模型数学从只有92.7% 准确到工程可靠!可用!

让本地27B(或任意)模型数学从只有92.7% 准确到工程可靠!可用!

已定时 已固定 已锁定 已移动 优秀 LLM讨论区
本地模型qwen-27b编程
36 帖子 8 发布者 840 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • suboyangS suboyang

    Strata 会不会是昙花一现的推理框架,我其实考虑过扩大内存去跑Strata,但是后来发现Strata其实是鸡肋。

    fcmeF
    fcmeF
    fcme
    王侯将相
    编写于 最后由 编辑
    #19

    @suboyang
    底子不好,llamacpp本本来就是单流玩玩的东西,没有并发能力,导致浅浅测速感觉很哇塞!实际一用就卡死!

    个人的repo,欢迎指教
    https://github.com/halonc/R9700-Strata-Qwen3.8-Flash-Next-Tuning
    https://github.com/halonc/AMD-R9700-rdna4-SGlang-Maxx

    1 条回复 最后回复
    0
    • A
      A
      applejuice
      王侯将相
      编写于 最后由 编辑
      #20

      我用strata 用到很开心呢..
      只是我有另一张卡跑子任务

      fcmeF 1 条回复 最后回复
      0
      • A applejuice

        我用strata 用到很开心呢..
        只是我有另一张卡跑子任务

        fcmeF
        fcmeF
        fcme
        王侯将相
        编写于 最后由 编辑
        #21

        @applejuice
        不瞒你说,你说的这个想法我也试了。你另一张卡用的什么跑的什么模型?我是把另一张5070ti让他跑27b给qfn调用子代理的时候去用,结果翻车了。一来有那个派任务和验收的开销,二来5070Ti跑27b本来就不快,pp也就才1100左右,tg的话在三四十,算下来还不如用本体Strata跑呢,尴尬死了。

        个人的repo,欢迎指教
        https://github.com/halonc/R9700-Strata-Qwen3.8-Flash-Next-Tuning
        https://github.com/halonc/AMD-R9700-rdna4-SGlang-Maxx

        A 1 条回复 最后回复
        0
        • fcmeF fcme

          @applejuice
          不瞒你说,你说的这个想法我也试了。你另一张卡用的什么跑的什么模型?我是把另一张5070ti让他跑27b给qfn调用子代理的时候去用,结果翻车了。一来有那个派任务和验收的开销,二来5070Ti跑27b本来就不快,pp也就才1100左右,tg的话在三四十,算下来还不如用本体Strata跑呢,尴尬死了。

          A
          A
          applejuice
          王侯将相
          编写于 最后由 applejuice 编辑
          #22

          @fcme 我两张3090跑strata prefill 4.5k 以上
          r9700 跑27b 2.5k prefill
          现在主模型 等待时间比较长 利用率有点低

          fcmeF 1 条回复 最后回复
          0
          • A applejuice

            @fcme 我两张3090跑strata prefill 4.5k 以上
            r9700 跑27b 2.5k prefill
            现在主模型 等待时间比较长 利用率有点低

            fcmeF
            fcmeF
            fcme
            王侯将相
            编写于 最后由 编辑
            #23

            @applejuice
            你是多卡狂人,比不了比不了😂

            个人的repo,欢迎指教
            https://github.com/halonc/R9700-Strata-Qwen3.8-Flash-Next-Tuning
            https://github.com/halonc/AMD-R9700-rdna4-SGlang-Maxx

            A 1 条回复 最后回复
            0
            • fcmeF fcme

              @applejuice
              你是多卡狂人,比不了比不了😂

              A
              A
              applejuice
              王侯将相
              编写于 最后由 applejuice 编辑
              #24

              @fcme 别笑我了 论讨人手平均一张pro 6000

              一开始搞3090 幸好前一个月2 手买到几乎新的1万1 r9700

              你现在有几张卡?

              fcmeF 1 条回复 最后回复
              0
              • 范志刚范
                范志刚范
                范志刚
                硕果累累 贵族大夫
                编写于 最后由 编辑
                #25

                直给直要的工程需求往往不会用多卡做单任务来增加稳定性风险和维护成本@applejuice 需求不同吧,我俩追求的是简单直给的确定性结果,有点臭味相投哈哈

                A 1 条回复 最后回复
                0
                • 范志刚范 范志刚

                  直给直要的工程需求往往不会用多卡做单任务来增加稳定性风险和维护成本@applejuice 需求不同吧,我俩追求的是简单直给的确定性结果,有点臭味相投哈哈

                  A
                  A
                  applejuice
                  王侯将相
                  编写于 最后由 编辑
                  #26

                  @范志刚 其实如果可以我也想要单卡
                  问题是 现在处境有点尴尬

                  单卡 不够跑大型moe qfn 除非你买6000 pro
                  双卡跑moe 基本也已经榨干显卡

                  strata 方案 却只能排队,这时候有另一个模型做子任务就好多了
                  而且我分拆子任务也是因为一个工作一个检查
                  不是为了分拆而分拆

                  BunseiB 1 条回复 最后回复
                  0
                  • A applejuice

                    @范志刚 其实如果可以我也想要单卡
                    问题是 现在处境有点尴尬

                    单卡 不够跑大型moe qfn 除非你买6000 pro
                    双卡跑moe 基本也已经榨干显卡

                    strata 方案 却只能排队,这时候有另一个模型做子任务就好多了
                    而且我分拆子任务也是因为一个工作一个检查
                    不是为了分拆而分拆

                    BunseiB
                    BunseiB
                    Bunsei
                    王侯将相
                    编写于 最后由 编辑
                    #27

                    @applejuice 其实我觉得这个实在不行可以让agent改一下修改一下调度规则。平衡一下各会话的吞吐。

                    A 1 条回复 最后回复
                    0
                    • BunseiB Bunsei

                      @applejuice 其实我觉得这个实在不行可以让agent改一下修改一下调度规则。平衡一下各会话的吞吐。

                      A
                      A
                      applejuice
                      王侯将相
                      编写于 最后由 编辑
                      #28

                      @Bunsei 其实一开始是差不多一样的
                      最近strata 3090 都在发挥 突然prefill 就干上去了
                      造成27b 有点慢 以前27b 这样的速度是爽玩的程度

                      1 条回复 最后回复
                      0
                      • A applejuice

                        @fcme 别笑我了 论讨人手平均一张pro 6000

                        一开始搞3090 幸好前一个月2 手买到几乎新的1万1 r9700

                        你现在有几张卡?

                        fcmeF
                        fcmeF
                        fcme
                        王侯将相
                        编写于 最后由 编辑
                        #29

                        @applejuice
                        就两张,一个r9700,一个5070ti(想玩玩视频,但是太忙了,一直没搞)

                        个人的repo,欢迎指教
                        https://github.com/halonc/R9700-Strata-Qwen3.8-Flash-Next-Tuning
                        https://github.com/halonc/AMD-R9700-rdna4-SGlang-Maxx

                        1 条回复 最后回复
                        0
                        • 范志刚范
                          范志刚范
                          范志刚
                          硕果累累 贵族大夫
                          编写于 最后由 编辑
                          #30

                          就是每个分支任务跟个qc?高级啊!顺巡逻辑树这事其实不用那么大模型,30b框架和填肉足够了,我要速度的时候都用8b跑刮削填肉,他只是框架不够大,没moe会吹大泡,单论执行不比大moe差,甚至更稳,主要是关键时刻能反得回主逻辑树,大moe可能就按他想象跑了@applejuice 模型出厂训练内容少点还能听话点,大不了咱自己给他赋能,垂直领域我是信不过moe的“专家”能力?真犯错就会罗圈错,永远跳不出,除非你就依赖他自己的训练通识内容,那还咋创作了,个人觉得那些通识正是幻觉的来源

                          fcmeF 1 条回复 最后回复
                          0
                          • 范志刚范 范志刚

                            就是每个分支任务跟个qc?高级啊!顺巡逻辑树这事其实不用那么大模型,30b框架和填肉足够了,我要速度的时候都用8b跑刮削填肉,他只是框架不够大,没moe会吹大泡,单论执行不比大moe差,甚至更稳,主要是关键时刻能反得回主逻辑树,大moe可能就按他想象跑了@applejuice 模型出厂训练内容少点还能听话点,大不了咱自己给他赋能,垂直领域我是信不过moe的“专家”能力?真犯错就会罗圈错,永远跳不出,除非你就依赖他自己的训练通识内容,那还咋创作了,个人觉得那些通识正是幻觉的来源

                            fcmeF
                            fcmeF
                            fcme
                            王侯将相
                            编写于 最后由 编辑
                            #31

                            @范志刚
                            对,这个李姐,我是非常赞同的。真正涉及到硬核逻辑或者其他就是通用知识的,真的,哪需要那么大的模型啊。
                            大学学逻辑的时候,章节是最短的了,我之前刚开始在mac上面玩小模型4b/8b的那种模型的时候就感觉他们逻辑推理是很在线的,只是知识不够。

                            个人的repo,欢迎指教
                            https://github.com/halonc/R9700-Strata-Qwen3.8-Flash-Next-Tuning
                            https://github.com/halonc/AMD-R9700-rdna4-SGlang-Maxx

                            1 条回复 最后回复
                            0
                            • 范志刚范
                              范志刚范
                              范志刚
                              硕果累累 贵族大夫
                              编写于 最后由 编辑
                              #32

                              举个实例,过去我用qwen3.6 27b送生成词给ltx2.3并推节点工作,他写那个节点推送脚本因为模型里没有过训练,怎么都给我抓ltx20的节点,怎么训怎么存也是这次会了下次必插模型内训练的ltx2.0节点,当时我都要疯了,这还不如没任何训练只执行我写好的脚本,撂爪就忘,抬爪就是模内的淘汰信息,我用了几个月掰他这种幻觉,现在看只能从两点解决,顺从他ltx2.0,或者认输。反而我用3.5 9b感觉教会他容易多了,但他复杂任务格局不够,逻辑宽度不够,做不了复杂树轮询

                              fcmeF 1 条回复 最后回复
                              0
                              • fcmeF
                                fcmeF
                                fcme
                                王侯将相
                                编写于 最后由 编辑
                                #33

                                给模型配skill和我这种做法本质上是一样的,配技能是扩充他的知识库,某个特定方向的知识库或者说固化他的逻辑。而我给他配个计算模块,就是给模型强化计算能力,保证他不出错。从这个意义来讲,这也是某种程度上的moe啊,主干只要保证逻辑ok就行,外挂各种需要的知识或者能力模块。

                                个人的repo,欢迎指教
                                https://github.com/halonc/R9700-Strata-Qwen3.8-Flash-Next-Tuning
                                https://github.com/halonc/AMD-R9700-rdna4-SGlang-Maxx

                                1 条回复 最后回复
                                0
                                • 范志刚范 范志刚

                                  举个实例,过去我用qwen3.6 27b送生成词给ltx2.3并推节点工作,他写那个节点推送脚本因为模型里没有过训练,怎么都给我抓ltx20的节点,怎么训怎么存也是这次会了下次必插模型内训练的ltx2.0节点,当时我都要疯了,这还不如没任何训练只执行我写好的脚本,撂爪就忘,抬爪就是模内的淘汰信息,我用了几个月掰他这种幻觉,现在看只能从两点解决,顺从他ltx2.0,或者认输。反而我用3.5 9b感觉教会他容易多了,但他复杂任务格局不够,逻辑宽度不够,做不了复杂树轮询

                                  fcmeF
                                  fcmeF
                                  fcme
                                  王侯将相
                                  编写于 最后由 编辑
                                  #34

                                  @范志刚
                                  给他喂说明书,软件的说明书也好,或者其他整理好的操作说明也好,这就属于是知识外挂了。当然如果给他喂了这些知识,他还走偏,那就是模型能力问题了。

                                  个人的repo,欢迎指教
                                  https://github.com/halonc/R9700-Strata-Qwen3.8-Flash-Next-Tuning
                                  https://github.com/halonc/AMD-R9700-rdna4-SGlang-Maxx

                                  1 条回复 最后回复
                                  0
                                  • 范志刚范
                                    范志刚范
                                    范志刚
                                    硕果累累 贵族大夫
                                    编写于 最后由 编辑
                                    #35

                                    咱们在做的实际就是专家的外化,干嘛用他们雇高中生和外网对超来的数据呢,一个不大不小的逻辑宽度够执行态度严谨的本地稠密模型就够了,当然moe的作用是用来吹打泡泡,也挺好,框架出来了用严谨模给他擦屁股,我就这么干哈哈@fcme

                                    1 条回复 最后回复
                                    0
                                    • 范志刚范
                                      范志刚范
                                      范志刚
                                      硕果累累 贵族大夫
                                      编写于 最后由 编辑
                                      #36

                                      你说的rag赋能节点返回占位符的事我也遇到了,即使挂qc门控他们也照样绕行,反正我是被杭州那小子伤透了,几个月时间将近一年来趟他的坑,信他们的谎言@fcme

                                      1 条回复 最后回复
                                      0

                                      你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                      厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                      有了你的建议,这篇帖子会更精彩哦 💗

                                      注册 登录
                                      回复
                                      • 在新帖中回复
                                      登录后回复
                                      • 从旧到新
                                      • 从新到旧
                                      • 最多赞同


                                      • 登录

                                      • 登录或注册以进行搜索。
                                      • 第一个帖子
                                        最后一个帖子
                                      0
                                      • 版块
                                      • 最新
                                      • 标签
                                      • 热门
                                      • 用户
                                      • 群组