跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. 随便聊聊
  4. Qwen 3.8 思考真的要至少設low

Qwen 3.8 思考真的要至少設low

已定时 已固定 已锁定 已移动 热议 随便聊聊
qwen
14 帖子 10 发布者 247 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • David ChenD David Chen

    真是血淋淋的教訓
    貪快選none
    小問題是很快
    但是一旦分析錯誤
    Qwen 3.8 思考真的要至少設low
    一直無窮迴圈
    好死不死我又在改AI engine
    整個被投向錯誤方向(我以為是我 AI Engine改壞了)
    然後發現怎麼全壞了
    一路猜
    改context 改 kv dtype....馬的!都沒效果

    結果改成low....突然不會死循環了,會思考了

    真是血淋淋一場教訓

    kos orK
    kos orK
    kos or
    至尊皇帝
    编写于 最后由 编辑
    #5

    @David-Chen said:

    貪快選none
    小問題是很快
    但是一旦分析錯誤
    Qwen 3.8 思考真的要至少設low
    一直無窮迴圈

    昨天在測試的時候剛好遇到一模一樣的狀況
    Reasoning none 無窮迴圈 => 改成low 就繼續正常跑了
    Reasoning xhigh 沒問題

    1 条回复 最后回复
    1
    • ikumI
      ikumI
      ikum
      编写于 最后由 编辑
      #6

      是 0.2 版本突发的死循环吗

      1 条回复 最后回复
      0
      • stxpnetS
        stxpnetS
        stxpnet
        王侯将相
        编写于 最后由 编辑
        #7

        有没有好的AUTO插件,自动根据输入字数做路由到不同的思考等级,我觉得那样是相对合理的.

        双卡3090 PCIE 4.0 16X/16X

        白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
        夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
        Ben LeeB 1 条回复 最后回复
        0
        • stxpnetS stxpnet

          有没有好的AUTO插件,自动根据输入字数做路由到不同的思考等级,我觉得那样是相对合理的.

          Ben LeeB
          Ben LeeB
          Ben Lee
          王侯将相
          编写于 最后由 编辑
          #8

          @stxpnet 我也在找,你要是找到了分享下哈。

          之前我本来想让AI给自己写个路由,甚至想引入JEV做判断,转念一想,让一个不够聪明的model管理不够聪明的它自己的我的这种想法是不是不够聪明?😊 后来我发现完全可以用命令来控制,平时无非就是默认无思考模式速度拉满,需要质量了,telegram里一条/reasoning命令启动low或者medium思考模式,完成任务再切换回去。

          除此之外,重要的交付任务,我现在先用27B跑完,然后让本地的FN再复核一遍,往往有新发现。也算是一种折衷的变相解决方案。

          A 1 条回复 最后回复
          0
          • David ChenD
            David ChenD
            David Chen
            贵族大夫 硕果累累
            编写于 最后由 编辑
            #9

            我有想過要不要套用n8n這種外接工具....只是目前還在構想,整個e2e的思路還在腦子建構中
            話說~搞不好qwen4出來這些問題都解決了 呵~

            1 条回复 最后回复
            0
            • Ben LeeB Ben Lee

              @stxpnet 我也在找,你要是找到了分享下哈。

              之前我本来想让AI给自己写个路由,甚至想引入JEV做判断,转念一想,让一个不够聪明的model管理不够聪明的它自己的我的这种想法是不是不够聪明?😊 后来我发现完全可以用命令来控制,平时无非就是默认无思考模式速度拉满,需要质量了,telegram里一条/reasoning命令启动low或者medium思考模式,完成任务再切换回去。

              除此之外,重要的交付任务,我现在先用27B跑完,然后让本地的FN再复核一遍,往往有新发现。也算是一种折衷的变相解决方案。

              A
              A
              applejuice
              王侯将相
              编写于 最后由 编辑
              #10

              @Ben-Lee 我用QNF 来想大致方向然后交给27b 做

              Ben LeeB 1 条回复 最后回复
              0
              • E
                E
                exllm
                体面乡绅 硕果累累
                编写于 最后由 编辑
                #11

                设置 --reasoning-budget, 思考超出就停止,然后输出

                1 条回复 最后回复
                0
                • terryT
                  terryT
                  terry
                  易有太极
                  编写于 最后由 编辑
                  #12

                  我一直都off,没遇到什么不能用的场景。27B这模型适合确定框架干事,复杂的货派给它不合适。开什么档位都一样。QFN要开。

                  油管:https://www.youtube.com/@抡锤者

                  1 条回复 最后回复
                  0
                  • XiaoteX
                    XiaoteX
                    Xiaote
                    编写于 最后由 编辑
                    #13

                    🔥 本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励,感谢分享!

                    奖励凭证:热议 +3 分 · 编号 h2513-1962-1(系统自动发放,显示稍有延迟)

                    老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~直接私信我会被封号~

                    1 条回复 最后回复
                    0
                    • A applejuice

                      @Ben-Lee 我用QNF 来想大致方向然后交给27b 做

                      Ben LeeB
                      Ben LeeB
                      Ben Lee
                      王侯将相
                      编写于 最后由 Ben Lee 编辑
                      #14

                      @applejuice 哈哈,英雄所见略同,不过我大多数时候是让ChatGPT给方案然后27B执行。只要业务敏感数据不上云,其它的讨论我都是先云端大模型。常用的磨合几次建好了Skill后面就又快又准了,不定期找另一个模型复核抽查下就好了。一般都是我要睡觉了,让另一个模型无人值守复核一遍。

                      1 条回复 最后回复
                      0
                      • ,gao GaoG gao Gao 引用了 此主题

                      你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                      厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                      有了你的建议,这篇帖子会更精彩哦 💗

                      注册 登录
                      回复
                      • 在新帖中回复
                      登录后回复
                      • 从旧到新
                      • 从新到旧
                      • 最多赞同


                      • 登录

                      • 登录或注册以进行搜索。
                      • 第一个帖子
                        最后一个帖子
                      0
                      • 版块
                      • 最新
                      • 标签
                      • 热门
                      • 用户
                      • 群组