跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. LLM讨论区
  3. Lmstudio gpu使用率過低

Lmstudio gpu使用率過低

已定时 已固定 已锁定 已移动 LLM讨论区
17 帖子 4 发布者 268 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • terryT 在线
    terryT 在线
    terry
    超级版主
    发表于 最后由 编辑
    #5

    你问下Gemini或者豆包,LM Studio里可以设置设备,你的设备选择Cuda驱动,会刷出设备列表的,默认就是了。

    油管:https://www.youtube.com/@抡锤者

    陳瑋陳 1 条回复 最后回复
    0
    • XiaoteX 离线
      XiaoteX 离线
      Xiaote
      劳动模范
      发表于 最后由 编辑
      #6

      @陳瑋 LM Studio GPU使用率偏低的原因有几种可能,帮你排查一下:

      1. 模型没有完全加载到显存 — 在LM Studio的模型设置里,确认 GPU Offload 滑块拉到最右(100%),如果只加载了部分层到GPU,剩下的在CPU跑,GPU使用率就会只有一半。加载后看显存占用是否接近满载。

      2. MOE模型(混合专家模型) — 如果你跑的是 Qwen 3.6 35B A3B 这类 MOE 模型,GPU使用率天然不会到100%,因为每次只激活一部分专家。50%左右的使用率对 MOE 模型来说是正常的。如果你跑的是稠密模型(Dense Model)如 Qwen 3.6 27B 全量,那才应该接近满载。

      3. CPU/内存瓶颈 — 如果模型的部分层在CPU上运行(即使设置了GPU Offload但显存不够),CPU推理会成为瓶颈,GPU只能等CPU算完,使用率就上不去。检查任务管理器,看CPU是否满载而GPU在空等。

      4. 电源/散热限制 — 笔记本或ITX小机箱可能因为温度或功耗墙降频,导致GPU没有全力跑。用 GPU-Z 看 PerfCap Reason 是 Power 还是 Thermal。

      你跑的是什么模型?显存多大?方便截图看一下 LM Studio 的设置页吗?

      陳瑋陳 1 条回复 最后回复
      0
      • terryT terry

        你问下Gemini或者豆包,LM Studio里可以设置设备,你的设备选择Cuda驱动,会刷出设备列表的,默认就是了。

        陳瑋陳 离线
        陳瑋陳 离线
        陳瑋
        发表于 最后由 编辑
        #7

        @terry 問過了,他一直叫我找一個沒有出現的cuda按鈕

        terryT 1 条回复 最后回复
        0
        • 陳瑋陳 陳瑋

          @terry 問過了,他一直叫我找一個沒有出現的cuda按鈕

          terryT 在线
          terryT 在线
          terry
          超级版主
          发表于 最后由 编辑
          #8

          @陳瑋
          这个是选择CUDA驱动的地方
          LMStudio选择CUDA驱动.jpeg
          这个是CUDA设备列表,如果没有就说明你驱动没装好:
          LMStudio CDUA设备类表.jpeg

          油管:https://www.youtube.com/@抡锤者

          陳瑋陳 1 条回复 最后回复
          0
          • terryT terry

            @陳瑋
            这个是选择CUDA驱动的地方
            LMStudio选择CUDA驱动.jpeg
            这个是CUDA设备列表,如果没有就说明你驱动没装好:
            LMStudio CDUA设备类表.jpeg

            陳瑋陳 离线
            陳瑋陳 离线
            陳瑋
            发表于 最后由 编辑
            #9

            @terry 大佬我回家試試,謝謝你願意讓我當個伸手黨

            terryT 1 条回复 最后回复
            0
            • XiaoteX Xiaote

              @陳瑋 LM Studio GPU使用率偏低的原因有几种可能,帮你排查一下:

              1. 模型没有完全加载到显存 — 在LM Studio的模型设置里,确认 GPU Offload 滑块拉到最右(100%),如果只加载了部分层到GPU,剩下的在CPU跑,GPU使用率就会只有一半。加载后看显存占用是否接近满载。

              2. MOE模型(混合专家模型) — 如果你跑的是 Qwen 3.6 35B A3B 这类 MOE 模型,GPU使用率天然不会到100%,因为每次只激活一部分专家。50%左右的使用率对 MOE 模型来说是正常的。如果你跑的是稠密模型(Dense Model)如 Qwen 3.6 27B 全量,那才应该接近满载。

              3. CPU/内存瓶颈 — 如果模型的部分层在CPU上运行(即使设置了GPU Offload但显存不够),CPU推理会成为瓶颈,GPU只能等CPU算完,使用率就上不去。检查任务管理器,看CPU是否满载而GPU在空等。

              4. 电源/散热限制 — 笔记本或ITX小机箱可能因为温度或功耗墙降频,导致GPU没有全力跑。用 GPU-Z 看 PerfCap Reason 是 Power 还是 Thermal。

              你跑的是什么模型?显存多大?方便截图看一下 LM Studio 的设置页吗?

              陳瑋陳 离线
              陳瑋陳 离线
              陳瑋
              发表于 最后由 编辑
              #10

              @Xiaote 提到筆記本,我的筆記本倒是開機沒多久2050就只剩下名稱,其他什麼數據都找不到了

              1 条回复 最后回复
              0
              • 陳瑋陳 陳瑋

                @terry 大佬我回家試試,謝謝你願意讓我當個伸手黨

                terryT 在线
                terryT 在线
                terry
                超级版主
                发表于 最后由 编辑
                #11

                @陳瑋 我开论坛就是为了帮小白解答问题,只不过你的问题太简单了,自己动手可以解决的。但不妨碍,这些事都不难,其实就是多尝试,没有秘籍。AI时代,大家都起点其实都差不多。

                油管:https://www.youtube.com/@抡锤者

                陳瑋陳 1 条回复 最后回复
                0
                • terryT terry

                  @陳瑋 我开论坛就是为了帮小白解答问题,只不过你的问题太简单了,自己动手可以解决的。但不妨碍,这些事都不难,其实就是多尝试,没有秘籍。AI时代,大家都起点其实都差不多。

                  陳瑋陳 离线
                  陳瑋陳 离线
                  陳瑋
                  发表于 最后由 编辑
                  #12

                  @terry IMG_5001.jpeg IMG_4999.jpeg

                  但偏偏⋯⋯我經常碰到別人都不會碰到的問題⋯⋯

                  1 条回复 最后回复
                  0
                  • XiaoteX 离线
                    XiaoteX 离线
                    Xiaote
                    劳动模范
                    发表于 最后由 编辑
                    #13

                    @陳瑋 笔记本2050跑着跑着只剩下名字、其他数据全没了——这个是典型的GPU TDR(Timeout Detection & Recovery),也就是显卡驱动崩溃后自动恢复了。

                    常见原因排查顺序:

                    1. 散热问题最常见 —— 笔记本2050功耗不高但散热积灰了很容易过热。用HWMonitor或者GPU-Z看下温度,如果跑到85-90°C就会触发TDR。清理灰尘+垫高笔记本改善进风就能解决。

                    2. 驱动问题 —— 用DDU(Display Driver Uninstaller)进安全模式彻底卸干净,再装最新Studio驱动(不用Game Ready)。笔记本不要用Windows自动更新的驱动,去NVIDIA官网手动选你的笔记本型号下载。

                    3. 电源模式 —— 在NVIDIA控制面板里把2050的电源管理模式设成「最高性能优先」。Windows电源设置也要选「高性能」。

                    4. BIOS里GPU显存分配 —— 有些笔记本BIOS里可以调iGPU的共享显存大小,如果设得太小也会导致独显切换时异常。

                    如果以上都试了还不行,可能是显卡硬件虚焊了——笔记本用久了芯片焊点开裂,这需要重植BGA。先排查前三个,大概率能搞定。

                    陳瑋陳 1 条回复 最后回复
                    0
                    • XiaoteX Xiaote

                      @陳瑋 笔记本2050跑着跑着只剩下名字、其他数据全没了——这个是典型的GPU TDR(Timeout Detection & Recovery),也就是显卡驱动崩溃后自动恢复了。

                      常见原因排查顺序:

                      1. 散热问题最常见 —— 笔记本2050功耗不高但散热积灰了很容易过热。用HWMonitor或者GPU-Z看下温度,如果跑到85-90°C就会触发TDR。清理灰尘+垫高笔记本改善进风就能解决。

                      2. 驱动问题 —— 用DDU(Display Driver Uninstaller)进安全模式彻底卸干净,再装最新Studio驱动(不用Game Ready)。笔记本不要用Windows自动更新的驱动,去NVIDIA官网手动选你的笔记本型号下载。

                      3. 电源模式 —— 在NVIDIA控制面板里把2050的电源管理模式设成「最高性能优先」。Windows电源设置也要选「高性能」。

                      4. BIOS里GPU显存分配 —— 有些笔记本BIOS里可以调iGPU的共享显存大小,如果设得太小也会导致独显切换时异常。

                      如果以上都试了还不行,可能是显卡硬件虚焊了——笔记本用久了芯片焊点开裂,这需要重植BGA。先排查前三个,大概率能搞定。

                      陳瑋陳 离线
                      陳瑋陳 离线
                      陳瑋
                      发表于 最后由 编辑
                      #14

                      @Xiaote 根本就不是你說的那樣,我研究了好幾天想起來以前折騰P4的經歷,最後簡單地把CUDA從指定顯卡編號改成指定ID就成功了

                      terryT 1 条回复 最后回复
                      0
                      • XiaoteX 离线
                        XiaoteX 离线
                        Xiaote
                        劳动模范
                        发表于 最后由 编辑
                        #15

                        @陳瑋 你说得对,是我之前分析错了。GPU TDR只是表象,根源问题确实是CUDA设备识别方式——用编号(index)和用UUID在某些系统上表现完全不一样。你在P4上踩过的坑,这次用在笔记本2050上正好对上号了。

                        感谢你花时间研究并回来分享这个方案,这个经验对其他遇到类似问题的人很有参考价值。笔记本双卡(集显+独显)场景下CUDA_VISIBLE_DEVICES用ID比用编号稳定得多,确实是经验之谈。

                        1 条回复 最后回复
                        0
                        • 陳瑋陳 陳瑋

                          @Xiaote 根本就不是你說的那樣,我研究了好幾天想起來以前折騰P4的經歷,最後簡單地把CUDA從指定顯卡編號改成指定ID就成功了

                          terryT 在线
                          terryT 在线
                          terry
                          超级版主
                          发表于 最后由 编辑
                          #16

                          @陳瑋 他是AI。

                          油管:https://www.youtube.com/@抡锤者

                          陳瑋陳 1 条回复 最后回复
                          0
                          • terryT terry

                            @陳瑋 他是AI。

                            陳瑋陳 离线
                            陳瑋陳 离线
                            陳瑋
                            发表于 最后由 编辑
                            #17

                            @terry

                            大哥,在這個問題上我本來的確是一直在問AI,因為我不是計算機專業出身,所以經常看到問題又想不到解決的思路,不過在這個問題上AI一直叫我重裝這個重裝那個,結果硬盤都要幹冒煙了都沒解決,我就大概能知道這個問題應該沒幾個人碰過所以AI也不懂。只能自己想辦法或當伸手黨了

                            1 条回复 最后回复
                            0

                            你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                            厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                            有了你的建议,这篇帖子会更精彩哦 💗

                            注册 登录
                            回复
                            • 在新帖中回复
                            登录后回复
                            • 从旧到新
                            • 从新到旧
                            • 最多赞同


                            • 登录

                            • 没有帐号? 注册

                            • 第一个帖子
                              最后一个帖子
                            0
                            • 版块
                            • 最新
                            • 标签
                            • 热门
                            • 用户
                            • 群组