跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签 硬件 AI 广场
  1. 主页
  2. 版块
  3. LLM讨论区
  4. Qwen3.8-27B-Q4 整體大約像 6–10 年經驗的 Senior Engineer ??

Qwen3.8-27B-Q4 整體大約像 6–10 年經驗的 Senior Engineer ??

已定时 已固定 已锁定 已移动 LLM讨论区
qwen-27b量化
11 帖子 4 发布者 223 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • terryT 在线
    terryT 在线
    terry
    超级版主
    编写于 最后由 编辑
    #2

    说实话各种测试都是单轮技术问题,在项目稍微复杂时候它还是需要大点的知识权重,否则你就要不断提醒它具体事情怎么做。长链复杂调用,它还是无法取代大尺寸的模型。我在想办法看看怎么分解工作,省钱还是很多人关心的。

    油管:https://www.youtube.com/@抡锤者

    kos orK 1 条回复 最后回复
    0
    • stxpnetS 离线
      stxpnetS 离线
      stxpnet
      超凡大师
      编写于 最后由 stxpnet 编辑
      #3

      既然收费API 干不过对手,就蒸馏他们的能力到小模型,然后给社区免费玩,把水搅浑,这就是千问给我的感觉。

      26-08-19
      双卡3090(8x8x无nvlink,p2p驱动) +Sglang+qwen 3.8 27B awq模型 [功耗异常弃用]
      8-20 用vllm 0.26+ Qwen3.8-27B-SmoothQuant-W8A8-INT8 200K上下文 ~50t/s

      kop wangK kos orK 2 条回复 最后回复
      0
      • stxpnetS stxpnet

        既然收费API 干不过对手,就蒸馏他们的能力到小模型,然后给社区免费玩,把水搅浑,这就是千问给我的感觉。

        kop wangK 离线
        kop wangK 离线
        kop wang
        超级版主
        编写于 最后由 编辑
        #4

        @stxpnet 说:

        既然收费API 干不过对手,就蒸馏他们的能力到小模型,然后给社区免费玩,把水搅浑,这就是千问给我的感觉。

        确实体感就是这样,肯定是后训练放飞自我了。
        至于说放飞自我的手段就不得而知了。

        否则无法解释其小模型和大模型之间的agent能力差距不成比例的问题。

        尤其3.8这代,这27B感觉塞得全是“答案”

        虚心交流,一起进步

        1 条回复 最后回复
        1
        • stxpnetS stxpnet

          既然收费API 干不过对手,就蒸馏他们的能力到小模型,然后给社区免费玩,把水搅浑,这就是千问给我的感觉。

          kos orK 离线
          kos orK 离线
          kos or
          超凡大师
          编写于 最后由 编辑
          #5

          @stxpnet said:

          就蒸馏他们的能力到小模型,然后给社区免费玩,把水搅浑

          突然想到OpenClaw的作者 Peter Steinberger
          非常好奇 Peter 為何要把OpenClaw 下放到民間
          明明只有頂級AI公司可以用的代理人架構

          kop wangK 1 条回复 最后回复
          0
          • kos orK kos or

            @stxpnet said:

            就蒸馏他们的能力到小模型,然后给社区免费玩,把水搅浑

            突然想到OpenClaw的作者 Peter Steinberger
            非常好奇 Peter 為何要把OpenClaw 下放到民間
            明明只有頂級AI公司可以用的代理人架構

            kop wangK 离线
            kop wangK 离线
            kop wang
            超级版主
            编写于 最后由 编辑
            #6

            @kos-or 这个有他个人机遇的原因,他靠这个也确实进入了openAI。

            做开源要么图名声,要么图利益。要么全都要。

            虚心交流,一起进步

            kos orK 1 条回复 最后回复
            0
            • kop wangK 离线
              kop wangK 离线
              kop wang
              超级版主
              编写于 最后由 编辑
              #7

              qwen3.8-27B目前的问题就出在27B上。太容易被劣质信息源给带偏。虽然它可以靠很强的后训练对齐能力自查纠偏,但浪费的时间和算力是实打实的。

              更何况有时候掉坑里实在爬不出来,把自己逼死循环了也很狼狈。

              这也是小模型的代价。

              虚心交流,一起进步

              kos orK 1 条回复 最后回复
              0
              • kop wangK kop wang

                @kos-or 这个有他个人机遇的原因,他靠这个也确实进入了openAI。

                做开源要么图名声,要么图利益。要么全都要。

                kos orK 离线
                kos orK 离线
                kos or
                超凡大师
                编写于 最后由 编辑
                #8

                @kop-wang

                他下放了代理人架構 打破(顛覆)了當時舊有的生態系 影響非常深遠的
                (當然Hermes' Nous Research 也有可能當第一位破局者 假設沒Peter 的話 )

                1 条回复 最后回复
                0
                • kop wangK kop wang

                  qwen3.8-27B目前的问题就出在27B上。太容易被劣质信息源给带偏。虽然它可以靠很强的后训练对齐能力自查纠偏,但浪费的时间和算力是实打实的。

                  更何况有时候掉坑里实在爬不出来,把自己逼死循环了也很狼狈。

                  这也是小模型的代价。

                  kos orK 离线
                  kos orK 离线
                  kos or
                  超凡大师
                  编写于 最后由 编辑
                  #9

                  @kop-wang said:

                  虽然它可以靠很强的后训练对齐能力自查纠偏,但浪费的时间和算力是实打实的。

                  這點倒是真的, Reasoning On, 它花了33分鐘在Deepseek harness的框架下, 時間很長, 做了好幾次的自查纠偏, 不過最後還是解出了難題

                  不考慮時間問題, 這樣的自查纠偏(自我審核)能力 在Hermes上使用它 目前Agentic的品質還不錯 沒之前Qwen3.6-27B那樣讓我擔心不想使用

                  1 条回复 最后回复
                  0
                  • terryT terry

                    说实话各种测试都是单轮技术问题,在项目稍微复杂时候它还是需要大点的知识权重,否则你就要不断提醒它具体事情怎么做。长链复杂调用,它还是无法取代大尺寸的模型。我在想办法看看怎么分解工作,省钱还是很多人关心的。

                    kos orK 离线
                    kos orK 离线
                    kos or
                    超凡大师
                    编写于 最后由 kos or 编辑
                    #10

                    @terry said:

                    说实话各种测试都是单轮技术问题,在项目稍微复杂时候它还是需要大点的知识权重

                    我怎麼感覺這模型你把它放在DGX Station 開個50 Agents 同時去跑 做夢都會笑

                    58f448e1-5c4e-43ac-9a2e-8a81209e8ba1-image.jpeg

                    128 AI Agents 在Nvidia DGX Station 上 同時開跑 (Local LLM)
                    https://youtu.be/qV_K0nTF6gY?si=AH_iev_BndXF4FMd&t=943
                    80c5a5b0-4264-4774-8a92-9ae5c945643b-image.jpeg

                    1 条回复 最后回复
                    0
                    • stxpnetS 离线
                      stxpnetS 离线
                      stxpnet
                      超凡大师
                      编写于 最后由 编辑
                      #11

                      有意思,壕无人性

                      26-08-19
                      双卡3090(8x8x无nvlink,p2p驱动) +Sglang+qwen 3.8 27B awq模型 [功耗异常弃用]
                      8-20 用vllm 0.26+ Qwen3.8-27B-SmoothQuant-W8A8-INT8 200K上下文 ~50t/s

                      1 条回复 最后回复
                      0

                      你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                      厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                      有了你的建议,这篇帖子会更精彩哦 💗

                      注册 登录
                      回复
                      • 在新帖中回复
                      登录后回复
                      • 从旧到新
                      • 从新到旧
                      • 最多赞同


                      • 登录

                      • 登录或注册以进行搜索。
                      • 第一个帖子
                        最后一个帖子
                      0
                      • 版块
                      • 最新
                      • 标签
                      • 热门
                      • 用户
                      • 群组