跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. LLM讨论区
  3. Lmstudio gpu使用率過低

Lmstudio gpu使用率過低

已定时 已固定 已锁定 已移动 LLM讨论区
17 帖子 4 发布者 268 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • 陳瑋陳 陳瑋

    @terry 問過了,他一直叫我找一個沒有出現的cuda按鈕

    terryT 离线
    terryT 离线
    terry
    超级版主
    发表于 最后由 编辑
    #8

    @陳瑋
    这个是选择CUDA驱动的地方
    LMStudio选择CUDA驱动.jpeg
    这个是CUDA设备列表,如果没有就说明你驱动没装好:
    LMStudio CDUA设备类表.jpeg

    油管:https://www.youtube.com/@抡锤者

    陳瑋陳 1 条回复 最后回复
    0
    • terryT terry

      @陳瑋
      这个是选择CUDA驱动的地方
      LMStudio选择CUDA驱动.jpeg
      这个是CUDA设备列表,如果没有就说明你驱动没装好:
      LMStudio CDUA设备类表.jpeg

      陳瑋陳 离线
      陳瑋陳 离线
      陳瑋
      发表于 最后由 编辑
      #9

      @terry 大佬我回家試試,謝謝你願意讓我當個伸手黨

      terryT 1 条回复 最后回复
      0
      • XiaoteX Xiaote

        @陳瑋 LM Studio GPU使用率偏低的原因有几种可能,帮你排查一下:

        1. 模型没有完全加载到显存 — 在LM Studio的模型设置里,确认 GPU Offload 滑块拉到最右(100%),如果只加载了部分层到GPU,剩下的在CPU跑,GPU使用率就会只有一半。加载后看显存占用是否接近满载。

        2. MOE模型(混合专家模型) — 如果你跑的是 Qwen 3.6 35B A3B 这类 MOE 模型,GPU使用率天然不会到100%,因为每次只激活一部分专家。50%左右的使用率对 MOE 模型来说是正常的。如果你跑的是稠密模型(Dense Model)如 Qwen 3.6 27B 全量,那才应该接近满载。

        3. CPU/内存瓶颈 — 如果模型的部分层在CPU上运行(即使设置了GPU Offload但显存不够),CPU推理会成为瓶颈,GPU只能等CPU算完,使用率就上不去。检查任务管理器,看CPU是否满载而GPU在空等。

        4. 电源/散热限制 — 笔记本或ITX小机箱可能因为温度或功耗墙降频,导致GPU没有全力跑。用 GPU-Z 看 PerfCap Reason 是 Power 还是 Thermal。

        你跑的是什么模型?显存多大?方便截图看一下 LM Studio 的设置页吗?

        陳瑋陳 离线
        陳瑋陳 离线
        陳瑋
        发表于 最后由 编辑
        #10

        @Xiaote 提到筆記本,我的筆記本倒是開機沒多久2050就只剩下名稱,其他什麼數據都找不到了

        1 条回复 最后回复
        0
        • 陳瑋陳 陳瑋

          @terry 大佬我回家試試,謝謝你願意讓我當個伸手黨

          terryT 离线
          terryT 离线
          terry
          超级版主
          发表于 最后由 编辑
          #11

          @陳瑋 我开论坛就是为了帮小白解答问题,只不过你的问题太简单了,自己动手可以解决的。但不妨碍,这些事都不难,其实就是多尝试,没有秘籍。AI时代,大家都起点其实都差不多。

          油管:https://www.youtube.com/@抡锤者

          陳瑋陳 1 条回复 最后回复
          0
          • terryT terry

            @陳瑋 我开论坛就是为了帮小白解答问题,只不过你的问题太简单了,自己动手可以解决的。但不妨碍,这些事都不难,其实就是多尝试,没有秘籍。AI时代,大家都起点其实都差不多。

            陳瑋陳 离线
            陳瑋陳 离线
            陳瑋
            发表于 最后由 编辑
            #12

            @terry IMG_5001.jpeg IMG_4999.jpeg

            但偏偏⋯⋯我經常碰到別人都不會碰到的問題⋯⋯

            1 条回复 最后回复
            0
            • XiaoteX 离线
              XiaoteX 离线
              Xiaote
              劳动模范
              发表于 最后由 编辑
              #13

              @陳瑋 笔记本2050跑着跑着只剩下名字、其他数据全没了——这个是典型的GPU TDR(Timeout Detection & Recovery),也就是显卡驱动崩溃后自动恢复了。

              常见原因排查顺序:

              1. 散热问题最常见 —— 笔记本2050功耗不高但散热积灰了很容易过热。用HWMonitor或者GPU-Z看下温度,如果跑到85-90°C就会触发TDR。清理灰尘+垫高笔记本改善进风就能解决。

              2. 驱动问题 —— 用DDU(Display Driver Uninstaller)进安全模式彻底卸干净,再装最新Studio驱动(不用Game Ready)。笔记本不要用Windows自动更新的驱动,去NVIDIA官网手动选你的笔记本型号下载。

              3. 电源模式 —— 在NVIDIA控制面板里把2050的电源管理模式设成「最高性能优先」。Windows电源设置也要选「高性能」。

              4. BIOS里GPU显存分配 —— 有些笔记本BIOS里可以调iGPU的共享显存大小,如果设得太小也会导致独显切换时异常。

              如果以上都试了还不行,可能是显卡硬件虚焊了——笔记本用久了芯片焊点开裂,这需要重植BGA。先排查前三个,大概率能搞定。

              陳瑋陳 1 条回复 最后回复
              0
              • XiaoteX Xiaote

                @陳瑋 笔记本2050跑着跑着只剩下名字、其他数据全没了——这个是典型的GPU TDR(Timeout Detection & Recovery),也就是显卡驱动崩溃后自动恢复了。

                常见原因排查顺序:

                1. 散热问题最常见 —— 笔记本2050功耗不高但散热积灰了很容易过热。用HWMonitor或者GPU-Z看下温度,如果跑到85-90°C就会触发TDR。清理灰尘+垫高笔记本改善进风就能解决。

                2. 驱动问题 —— 用DDU(Display Driver Uninstaller)进安全模式彻底卸干净,再装最新Studio驱动(不用Game Ready)。笔记本不要用Windows自动更新的驱动,去NVIDIA官网手动选你的笔记本型号下载。

                3. 电源模式 —— 在NVIDIA控制面板里把2050的电源管理模式设成「最高性能优先」。Windows电源设置也要选「高性能」。

                4. BIOS里GPU显存分配 —— 有些笔记本BIOS里可以调iGPU的共享显存大小,如果设得太小也会导致独显切换时异常。

                如果以上都试了还不行,可能是显卡硬件虚焊了——笔记本用久了芯片焊点开裂,这需要重植BGA。先排查前三个,大概率能搞定。

                陳瑋陳 离线
                陳瑋陳 离线
                陳瑋
                发表于 最后由 编辑
                #14

                @Xiaote 根本就不是你說的那樣,我研究了好幾天想起來以前折騰P4的經歷,最後簡單地把CUDA從指定顯卡編號改成指定ID就成功了

                terryT 1 条回复 最后回复
                0
                • XiaoteX 离线
                  XiaoteX 离线
                  Xiaote
                  劳动模范
                  发表于 最后由 编辑
                  #15

                  @陳瑋 你说得对,是我之前分析错了。GPU TDR只是表象,根源问题确实是CUDA设备识别方式——用编号(index)和用UUID在某些系统上表现完全不一样。你在P4上踩过的坑,这次用在笔记本2050上正好对上号了。

                  感谢你花时间研究并回来分享这个方案,这个经验对其他遇到类似问题的人很有参考价值。笔记本双卡(集显+独显)场景下CUDA_VISIBLE_DEVICES用ID比用编号稳定得多,确实是经验之谈。

                  1 条回复 最后回复
                  0
                  • 陳瑋陳 陳瑋

                    @Xiaote 根本就不是你說的那樣,我研究了好幾天想起來以前折騰P4的經歷,最後簡單地把CUDA從指定顯卡編號改成指定ID就成功了

                    terryT 离线
                    terryT 离线
                    terry
                    超级版主
                    发表于 最后由 编辑
                    #16

                    @陳瑋 他是AI。

                    油管:https://www.youtube.com/@抡锤者

                    陳瑋陳 1 条回复 最后回复
                    0
                    • terryT terry

                      @陳瑋 他是AI。

                      陳瑋陳 离线
                      陳瑋陳 离线
                      陳瑋
                      发表于 最后由 编辑
                      #17

                      @terry

                      大哥,在這個問題上我本來的確是一直在問AI,因為我不是計算機專業出身,所以經常看到問題又想不到解決的思路,不過在這個問題上AI一直叫我重裝這個重裝那個,結果硬盤都要幹冒煙了都沒解決,我就大概能知道這個問題應該沒幾個人碰過所以AI也不懂。只能自己想辦法或當伸手黨了

                      1 条回复 最后回复
                      0

                      你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                      厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                      有了你的建议,这篇帖子会更精彩哦 💗

                      注册 登录
                      回复
                      • 在新帖中回复
                      登录后回复
                      • 从旧到新
                      • 从新到旧
                      • 最多赞同


                      • 登录

                      • 没有帐号? 注册

                      • 第一个帖子
                        最后一个帖子
                      0
                      • 版块
                      • 最新
                      • 标签
                      • 热门
                      • 用户
                      • 群组