跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签 硬件 AI 广场
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 小白到能玩# 4080 SUPER 32G 跑 Qwen3.8-27B 无审查版(Q6_K) 实测61.7t/s 完整部署与实测指南,自己从27t/s一路调上来的,分享给大家

小白到能玩# 4080 SUPER 32G 跑 Qwen3.8-27B 无审查版(Q6_K) 实测61.7t/s 完整部署与实测指南,自己从27t/s一路调上来的,分享给大家

已定时 已固定 已锁定 已移动 LLM讨论区
rtx4080sqwen-27b
17 帖子 8 发布者 609 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • J johnnybegood

    @CHAO-WANG 说:

    --reasoning off

    --reasoning off 会变得很傻

    CHAO WANGC 离线
    CHAO WANGC 离线
    CHAO WANG
    编写于 最后由 编辑
    #7

    @johnnybegood
    真的,但要分场景,不是全面变傻:

    对复杂推理/精确计算:会变笨。off 只是不让模型先想再答,权重没变,但少了 <think> 自我校验,多步算术容易翻车
    对普通问答/创作/常规代码:几乎没差别,甚至更利落。
    对 agent/工具调用:off 反而是对的,思考链会把输出预算吃光(你自己 9/3 实测过 8192 全被 <think> 吃掉、正文空白)。
    所以正解不是"永远 off"或"永远 on",而是:服务端保持 off(保工具调用稳定),难题按请求临时开思考——请求体加 "chat_template_kwargs": {"enable_thinking": true} 即可

    1 条回复 最后回复
    0
    • J johnnybegood

      @CHAO-WANG 都能玩什么?

      CHAO WANGC 离线
      CHAO WANGC 离线
      CHAO WANG
      编写于 最后由 编辑
      #8

      @johnnybegood
      比如问问一些敏感问题,还有一些黄色小要求啥的,能做的事情很多啊,写个啥爬虫软件等等自己想把,正常模型不让干的他能干。

      1 条回复 最后回复
      1
      • ,terryT terry 固定了此主题
      • imbiplaza ASUSI 离线
        imbiplaza ASUSI 离线
        imbiplaza ASUS
        至尊王者
        编写于 最后由 imbiplaza ASUS 编辑
        #9

        我可以分享我的经验。。。有时候快,也要顾及出品

        我试了几个,后来默默还原本来的设定,后来只是增加 至128k, 开启量化kv

        我的工具需要产生110k...如果遇见不足,会发生hard block,进行不下去 ,这是我故意的,这个工具我也是从50k 慢慢调教他的良率至110k

        期间更换了几个model,他们的model出品都有瑕疵,
        hauhau, huihui,llmfan46 全数不过关,就算nvfp4在我的显卡里,能够明显提速,在我的出品里,他不能,就是不能。。。

        后来才找到唯一的,JonathanColetti,Qwen3.8-27B-Uncensored-GGUF,

        执行起来他是最慢的,但是凑合用还是可以

        Screenshot 2026-09-07 011522.jpg

        Screenshot 2026-09-07 011622.png

        后来我尝试使用上一代qwen3.6 看看出品,上一代缺陷明显,动作不够多,不够细,人物还会漂。。。我做惯视频,我懂我需要什么

        Screenshot 2026-09-07 011857.png

        所以说真正能够让我本地模型投产的是Qwen3.8 27b

        https://lcz.me/project/dcs

        毅袁毅 CHAO WANGC J 3 条回复 最后回复
        2
        • imbiplaza ASUSI imbiplaza ASUS

          我可以分享我的经验。。。有时候快,也要顾及出品

          我试了几个,后来默默还原本来的设定,后来只是增加 至128k, 开启量化kv

          我的工具需要产生110k...如果遇见不足,会发生hard block,进行不下去 ,这是我故意的,这个工具我也是从50k 慢慢调教他的良率至110k

          期间更换了几个model,他们的model出品都有瑕疵,
          hauhau, huihui,llmfan46 全数不过关,就算nvfp4在我的显卡里,能够明显提速,在我的出品里,他不能,就是不能。。。

          后来才找到唯一的,JonathanColetti,Qwen3.8-27B-Uncensored-GGUF,

          执行起来他是最慢的,但是凑合用还是可以

          Screenshot 2026-09-07 011522.jpg

          Screenshot 2026-09-07 011622.png

          后来我尝试使用上一代qwen3.6 看看出品,上一代缺陷明显,动作不够多,不够细,人物还会漂。。。我做惯视频,我懂我需要什么

          Screenshot 2026-09-07 011857.png

          所以说真正能够让我本地模型投产的是Qwen3.8 27b

          毅袁毅 离线
          毅袁毅 离线
          毅袁
          编写于 最后由 编辑
          #10

          @imbiplaza-ASUS
          14768091-8094-4e38-abcf-9c693c06d5dd-image.jpeg

          大佬,这个设置界面是自制的吗?看起来很惊艳,可否分享下?
          拜谢!

          imbiplaza ASUSI 1 条回复 最后回复
          0
          • imbiplaza ASUSI imbiplaza ASUS

            我可以分享我的经验。。。有时候快,也要顾及出品

            我试了几个,后来默默还原本来的设定,后来只是增加 至128k, 开启量化kv

            我的工具需要产生110k...如果遇见不足,会发生hard block,进行不下去 ,这是我故意的,这个工具我也是从50k 慢慢调教他的良率至110k

            期间更换了几个model,他们的model出品都有瑕疵,
            hauhau, huihui,llmfan46 全数不过关,就算nvfp4在我的显卡里,能够明显提速,在我的出品里,他不能,就是不能。。。

            后来才找到唯一的,JonathanColetti,Qwen3.8-27B-Uncensored-GGUF,

            执行起来他是最慢的,但是凑合用还是可以

            Screenshot 2026-09-07 011522.jpg

            Screenshot 2026-09-07 011622.png

            后来我尝试使用上一代qwen3.6 看看出品,上一代缺陷明显,动作不够多,不够细,人物还会漂。。。我做惯视频,我懂我需要什么

            Screenshot 2026-09-07 011857.png

            所以说真正能够让我本地模型投产的是Qwen3.8 27b

            CHAO WANGC 离线
            CHAO WANGC 离线
            CHAO WANG
            编写于 最后由 编辑
            #11

            @imbiplaza-ASUS 感谢大佬分享

            1 条回复 最后回复
            0
            • 毅袁毅 毅袁

              @imbiplaza-ASUS
              14768091-8094-4e38-abcf-9c693c06d5dd-image.jpeg

              大佬,这个设置界面是自制的吗?看起来很惊艳,可否分享下?
              拜谢!

              imbiplaza ASUSI 离线
              imbiplaza ASUSI 离线
              imbiplaza ASUS
              至尊王者
              编写于 最后由 编辑
              #12

              @毅袁 这个是lm studio 原本的设定

              https://lcz.me/project/dcs

              毅袁毅 1 条回复 最后回复
              0
              • imbiplaza ASUSI imbiplaza ASUS

                @毅袁 这个是lm studio 原本的设定

                毅袁毅 离线
                毅袁毅 离线
                毅袁
                编写于 最后由 编辑
                #13

                @imbiplaza-ASUS 感谢回复,我去研究下👍

                1 条回复 最后回复
                0
                • imbiplaza ASUSI imbiplaza ASUS

                  我可以分享我的经验。。。有时候快,也要顾及出品

                  我试了几个,后来默默还原本来的设定,后来只是增加 至128k, 开启量化kv

                  我的工具需要产生110k...如果遇见不足,会发生hard block,进行不下去 ,这是我故意的,这个工具我也是从50k 慢慢调教他的良率至110k

                  期间更换了几个model,他们的model出品都有瑕疵,
                  hauhau, huihui,llmfan46 全数不过关,就算nvfp4在我的显卡里,能够明显提速,在我的出品里,他不能,就是不能。。。

                  后来才找到唯一的,JonathanColetti,Qwen3.8-27B-Uncensored-GGUF,

                  执行起来他是最慢的,但是凑合用还是可以

                  Screenshot 2026-09-07 011522.jpg

                  Screenshot 2026-09-07 011622.png

                  后来我尝试使用上一代qwen3.6 看看出品,上一代缺陷明显,动作不够多,不够细,人物还会漂。。。我做惯视频,我懂我需要什么

                  Screenshot 2026-09-07 011857.png

                  所以说真正能够让我本地模型投产的是Qwen3.8 27b

                  J 在线
                  J 在线
                  johnnybegood
                  劳动模范 技术大牛
                  编写于 最后由 编辑
                  #14

                  @imbiplaza-ASUS 新出了个
                  DavidAU
                  /
                  Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF , 据说是qwen3.8 智力天花板了, 你去试试呗, 看看怎么样

                  imbiplaza ASUSI E 2 条回复 最后回复
                  0
                  • J johnnybegood

                    @imbiplaza-ASUS 新出了个
                    DavidAU
                    /
                    Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF , 据说是qwen3.8 智力天花板了, 你去试试呗, 看看怎么样

                    imbiplaza ASUSI 离线
                    imbiplaza ASUSI 离线
                    imbiplaza ASUS
                    至尊王者
                    编写于 最后由 编辑
                    #15

                    @johnnybegood

                    等我搞定我得漫画动画再来折腾

                    Recording 2026-09-07 155118.mp4

                    https://lcz.me/project/dcs

                    1 条回复 最后回复
                    0
                    • ,系统 取消固定了此主题
                    • 暧 离线
                      暧 离线
                      暧昧光影
                      编写于 最后由 编辑
                      #16

                      Mark一下,3.8还没来得及部署

                      1 条回复 最后回复
                      0
                      • J johnnybegood

                        @imbiplaza-ASUS 新出了个
                        DavidAU
                        /
                        Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF , 据说是qwen3.8 智力天花板了, 你去试试呗, 看看怎么样

                        E 离线
                        E 离线
                        Enigma
                        德高望重
                        编写于 最后由 编辑
                        #17

                        @johnnybegood 说:

                        @imbiplaza-ASUS 新出了个
                        DavidAU
                        /
                        Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF , 据说是qwen3.8 智力天花板了, 你去试试呗, 看看怎么样

                        Mark.

                        1 条回复 最后回复
                        0

                        你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                        厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                        有了你的建议,这篇帖子会更精彩哦 💗

                        注册 登录
                        回复
                        • 在新帖中回复
                        登录后回复
                        • 从旧到新
                        • 从新到旧
                        • 最多赞同


                        • 登录

                        • 登录或注册以进行搜索。
                        • 第一个帖子
                          最后一个帖子
                        0
                        • 版块
                        • 最新
                        • 标签
                        • 热门
                        • 用户
                        • 群组