跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. LLM讨论区
  4. DSH 中启用自定义后端的思维深度(reasoning effort)

DSH 中启用自定义后端的思维深度(reasoning effort)

已定时 已固定 已锁定 已移动 LLM讨论区
dsharness
3 帖子 2 发布者 323 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • N
    N
    neo
    体面乡绅 硕果累累
    发表于 最后由 neo 编辑
    #1

    DSH 中启用自定义后端的思维深度(reasoning effort)


    UI效果展示

    7b37d1fd-d2b6-47b3-ad4c-6a18850eeb7a-image.jpeg

    5c860b40-ded7-476a-8de2-cc4080e3fc7e-image.jpeg


    1. 配置步骤

    1.1 修改配置文件

    /root/.dsh/settings.yaml(或对应 profile 的 settings.yaml):

    llm-pi-ai:
      providers:
        sglang:
          displayName: sglang
          apiKeyEnv: SGLANG_API_KEY
          api: openai-completions
          baseURL: http://127.0.0.1:18080/v1
          models:
            - id: Qwen3.8-27B-AWQ
              name: Qwen3.8-27B-AWQ
              input: [ text, image ]
              contextWindow: 256000
              maxTokens: 32000
              # key = DSH 逻辑档位(off|minimal|low|medium|high|xhigh|max)
              # value = 发给后端的 wire 值;只有 off 允许留空
              reasoningEfforts:
                off: "none"      # 关思考:显式发 reasoning_effort="none"
                low: "low"
                medium: "medium"
                high: "xhigh"    # 注意:模板最高档叫 xhigh,不是 high
              # 该模型的后端模板不认 developer 角色时保留此项(与思考深度无关,纯兼容开关)
              compat:
                supportsDeveloperRole: false
    

    1.2 配置提供商默认挡位(可选)

    llm-pi-ai:
      providers:
        sglang:
          reasoning: medium     # 任一请求未显式带档位时,用 medium
    

    1.3 配置全局默认挡位

    agent-default-model:
      provider: sglang
      model: Qwen3.8-27B-AWQ
      reasoningEffort: medium   # 全局缺省,取值同逻辑档位集合
    

    1 条回复 最后回复
    2
    • terryT
      terryT
      terry
      易有太极
      发表于 最后由 terry 编辑
      #2

      太长的文字,老哥你发点质量好点的截图,不然网站被谷歌判定为垃圾,我还想抢救下。

      油管:https://www.youtube.com/@抡锤者

      1 条回复 最后回复
      0
      • N
        N
        neo
        体面乡绅 硕果累累
        发表于 最后由 编辑
        #3

        我大幅精简了内容,之前确实太臃肿了,感谢提醒。

        1 条回复 最后回复
        0

        你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

        厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

        有了你的建议,这篇帖子会更精彩哦 💗

        注册 登录
        回复
        • 在新帖中回复
        登录后回复
        • 从旧到新
        • 从新到旧
        • 最多赞同


        • 登录

        • 登录或注册以进行搜索。
        • 第一个帖子
          最后一个帖子
        0
        • 版块
        • 最新
        • 标签
        • 热门
        • 用户
        • 群组