跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签 硬件 AI 广场
  1. 主页
  2. 版块
  3. LLM讨论区
  4. qwen3.6 27b 35b 帮你们避个坑

qwen3.6 27b 35b 帮你们避个坑

已定时 已固定 已锁定 已移动 LLM讨论区
本地模型qwen-27b
11 帖子 7 发布者 660 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • CHIA AN YANGC 离线
    CHIA AN YANGC 离线
    CHIA AN YANG
    超凡大师
    发表于 最后由 编辑
    #2

    所以老特一直說只有27b可以用啊!

    Kk HhK 1 条回复 最后回复
    0
    • CHIA AN YANGC CHIA AN YANG

      所以老特一直說只有27b可以用啊!

      Kk HhK 离线
      Kk HhK 离线
      Kk Hh
      发表于 最后由 编辑
      #3

      @CHIA-AN-YANG 说:

      所以老特一直說只有27b可以用啊!

      qwen3.6 27b 和 35b一样 ,底层编程别用QWEN3.6 小模型,感觉模型这方面的数据很少。

      5 1 条回复 最后回复
      0
      • Kk HhK Kk Hh

        @CHIA-AN-YANG 说:

        所以老特一直說只有27b可以用啊!

        qwen3.6 27b 和 35b一样 ,底层编程别用QWEN3.6 小模型,感觉模型这方面的数据很少。

        5 离线
        5 离线
        566656661
        超凡大师
        发表于 最后由 编辑
        #4

        @Kk-Hh

        誒不是, 本來這些就是助手啊, 論廣義知識量肯定追不上API的啊

        1 条回复 最后回复
        0
        • wwcd2016W 离线
          wwcd2016W 离线
          wwcd2016
          发表于 最后由 编辑
          #5

          我也是老特说,推荐qwen3.6 27b稠密,以为是唯一解。
          我仅仅是用来驱动hermes。其实不需要用本地部署,
          然后,我用了越狱模型以后,才打开新世界的大门。聪明不重要,重要的是 不用审核。

          1 条回复 最后回复
          0
          • 九龙杨生九 离线
            九龙杨生九 离线
            九龙杨生
            技术大牛 劳动模范
            发表于 最后由 编辑
            #6

            其实用多了发现27B稠密有时候也是有点弱智,主要还是上下文一长就开始东拉西扯。但是得DS V4 PRO上下文拉满,基本上不会出问题,要是DS V4 PRO出个新版本支持多模态直接无敌

            欢迎访问亿量科技官网
            欢迎访问亿量科技油管频道

            5 stxpnetS 2 条回复 最后回复
            1
            • 九龙杨生九 九龙杨生

              其实用多了发现27B稠密有时候也是有点弱智,主要还是上下文一长就开始东拉西扯。但是得DS V4 PRO上下文拉满,基本上不会出问题,要是DS V4 PRO出个新版本支持多模态直接无敌

              5 离线
              5 离线
              566656661
              超凡大师
              发表于 最后由 编辑
              #7

              @九龙杨生

              這個應該是Qwen 3.5開始的通病了, CoT裏面會不停確認自己的回答, 是能增加準確率沒錯但是就有時拖太長了

              真的忍不住可以試試Gemma 4 31B

              1 条回复 最后回复
              0
              • Kk HhK 离线
                Kk HhK 离线
                Kk Hh
                发表于 最后由 编辑
                #8

                我就是一个ghidra 自动反编译工作流,当然反编译文件比较敏感我就不公开了,我的模型基本上是OLLAMA CLOUD订阅可以用到的模型

                用这个测试完

                正确完成的
                kimi-k2.7-code:cloud
                gemma4:31b-cloud

                知道一些但是明显模型训练数据不对,一本正经胡说八道的
                deepseek-v4-pro:cloud
                glm-5.1:cloud
                qwen3.5:cloud
                qwen3.6 27b 全Q8精度 256K TOEKN 本地
                qwen3.6 35b 全Q8精度 256K TOEKN 本地

                什么都不知道的
                minimax-m3:cloud
                nemotron-3-ultra:cloud

                tomcatzhT 1 条回复 最后回复
                0
                • Kk HhK Kk Hh

                  我就是一个ghidra 自动反编译工作流,当然反编译文件比较敏感我就不公开了,我的模型基本上是OLLAMA CLOUD订阅可以用到的模型

                  用这个测试完

                  正确完成的
                  kimi-k2.7-code:cloud
                  gemma4:31b-cloud

                  知道一些但是明显模型训练数据不对,一本正经胡说八道的
                  deepseek-v4-pro:cloud
                  glm-5.1:cloud
                  qwen3.5:cloud
                  qwen3.6 27b 全Q8精度 256K TOEKN 本地
                  qwen3.6 35b 全Q8精度 256K TOEKN 本地

                  什么都不知道的
                  minimax-m3:cloud
                  nemotron-3-ultra:cloud

                  tomcatzhT 离线
                  tomcatzhT 离线
                  tomcatzh
                  发表于 最后由 编辑
                  #9

                  @Kk-Hh 居然 gemma4 可以?没见过夸这个的

                  这个在本地跑,比 27B 轻松

                  1 条回复 最后回复
                  0
                  • 九龙杨生九 九龙杨生

                    其实用多了发现27B稠密有时候也是有点弱智,主要还是上下文一长就开始东拉西扯。但是得DS V4 PRO上下文拉满,基本上不会出问题,要是DS V4 PRO出个新版本支持多模态直接无敌

                    stxpnetS 离线
                    stxpnetS 离线
                    stxpnet
                    超凡大师
                    发表于 最后由 编辑
                    #10

                    @九龙杨生 参数,硬件各方面都有。我打算把我的HERMES配置来专门做调参师。 本地模型要玩起来要么升级硬件,要么不断优化参数。

                    26-08-19
                    双卡3090(8x8x无nvlink,p2p驱动) +Sglang+qwen 3.8 27B awq模型 [功耗异常弃用]
                    8-20 用vllm 0.26+ Qwen3.8-27B-SmoothQuant-W8A8-INT8 200K上下文 ~50t/s

                    Kk HhK 1 条回复 最后回复
                    0
                    • stxpnetS stxpnet

                      @九龙杨生 参数,硬件各方面都有。我打算把我的HERMES配置来专门做调参师。 本地模型要玩起来要么升级硬件,要么不断优化参数。

                      Kk HhK 离线
                      Kk HhK 离线
                      Kk Hh
                      发表于 最后由 编辑
                      #11

                      @stxpnet 说:

                      @九龙杨生 参数,硬件各方面都有。我打算把我的HERMES配置来专门做调参师。 本地模型要玩起来要么升级硬件,要么不断优化参数。
                      大家差不多,我只是在调教我的越狱模型

                      1 条回复 最后回复
                      0

                      你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                      厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                      有了你的建议,这篇帖子会更精彩哦 💗

                      注册 登录
                      回复
                      • 在新帖中回复
                      登录后回复
                      • 从旧到新
                      • 从新到旧
                      • 最多赞同


                      • 登录

                      • 登录或注册以进行搜索。
                      • 第一个帖子
                        最后一个帖子
                      0
                      • 版块
                      • 最新
                      • 标签
                      • 热门
                      • 用户
                      • 群组