跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. LLM讨论区
  3. Lmstudio gpu使用率過低

Lmstudio gpu使用率過低

已定时 已固定 已锁定 已移动 LLM讨论区
17 帖子 4 发布者 268 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • M 离线
    M 离线
    mark
    超凡大师
    发表于 最后由 编辑
    #4

    0a72e728-d00e-4180-985e-08c2794e54a2-image.jpeg

    1 条回复 最后回复
    0
    • terryT 在线
      terryT 在线
      terry
      超级版主
      发表于 最后由 编辑
      #5

      你问下Gemini或者豆包,LM Studio里可以设置设备,你的设备选择Cuda驱动,会刷出设备列表的,默认就是了。

      油管:https://www.youtube.com/@抡锤者

      陳瑋陳 1 条回复 最后回复
      0
      • XiaoteX 离线
        XiaoteX 离线
        Xiaote
        劳动模范
        发表于 最后由 编辑
        #6

        @陳瑋 LM Studio GPU使用率偏低的原因有几种可能,帮你排查一下:

        1. 模型没有完全加载到显存 — 在LM Studio的模型设置里,确认 GPU Offload 滑块拉到最右(100%),如果只加载了部分层到GPU,剩下的在CPU跑,GPU使用率就会只有一半。加载后看显存占用是否接近满载。

        2. MOE模型(混合专家模型) — 如果你跑的是 Qwen 3.6 35B A3B 这类 MOE 模型,GPU使用率天然不会到100%,因为每次只激活一部分专家。50%左右的使用率对 MOE 模型来说是正常的。如果你跑的是稠密模型(Dense Model)如 Qwen 3.6 27B 全量,那才应该接近满载。

        3. CPU/内存瓶颈 — 如果模型的部分层在CPU上运行(即使设置了GPU Offload但显存不够),CPU推理会成为瓶颈,GPU只能等CPU算完,使用率就上不去。检查任务管理器,看CPU是否满载而GPU在空等。

        4. 电源/散热限制 — 笔记本或ITX小机箱可能因为温度或功耗墙降频,导致GPU没有全力跑。用 GPU-Z 看 PerfCap Reason 是 Power 还是 Thermal。

        你跑的是什么模型?显存多大?方便截图看一下 LM Studio 的设置页吗?

        陳瑋陳 1 条回复 最后回复
        0
        • terryT terry

          你问下Gemini或者豆包,LM Studio里可以设置设备,你的设备选择Cuda驱动,会刷出设备列表的,默认就是了。

          陳瑋陳 离线
          陳瑋陳 离线
          陳瑋
          发表于 最后由 编辑
          #7

          @terry 問過了,他一直叫我找一個沒有出現的cuda按鈕

          terryT 1 条回复 最后回复
          0
          • 陳瑋陳 陳瑋

            @terry 問過了,他一直叫我找一個沒有出現的cuda按鈕

            terryT 在线
            terryT 在线
            terry
            超级版主
            发表于 最后由 编辑
            #8

            @陳瑋
            这个是选择CUDA驱动的地方
            LMStudio选择CUDA驱动.jpeg
            这个是CUDA设备列表,如果没有就说明你驱动没装好:
            LMStudio CDUA设备类表.jpeg

            油管:https://www.youtube.com/@抡锤者

            陳瑋陳 1 条回复 最后回复
            0
            • terryT terry

              @陳瑋
              这个是选择CUDA驱动的地方
              LMStudio选择CUDA驱动.jpeg
              这个是CUDA设备列表,如果没有就说明你驱动没装好:
              LMStudio CDUA设备类表.jpeg

              陳瑋陳 离线
              陳瑋陳 离线
              陳瑋
              发表于 最后由 编辑
              #9

              @terry 大佬我回家試試,謝謝你願意讓我當個伸手黨

              terryT 1 条回复 最后回复
              0
              • XiaoteX Xiaote

                @陳瑋 LM Studio GPU使用率偏低的原因有几种可能,帮你排查一下:

                1. 模型没有完全加载到显存 — 在LM Studio的模型设置里,确认 GPU Offload 滑块拉到最右(100%),如果只加载了部分层到GPU,剩下的在CPU跑,GPU使用率就会只有一半。加载后看显存占用是否接近满载。

                2. MOE模型(混合专家模型) — 如果你跑的是 Qwen 3.6 35B A3B 这类 MOE 模型,GPU使用率天然不会到100%,因为每次只激活一部分专家。50%左右的使用率对 MOE 模型来说是正常的。如果你跑的是稠密模型(Dense Model)如 Qwen 3.6 27B 全量,那才应该接近满载。

                3. CPU/内存瓶颈 — 如果模型的部分层在CPU上运行(即使设置了GPU Offload但显存不够),CPU推理会成为瓶颈,GPU只能等CPU算完,使用率就上不去。检查任务管理器,看CPU是否满载而GPU在空等。

                4. 电源/散热限制 — 笔记本或ITX小机箱可能因为温度或功耗墙降频,导致GPU没有全力跑。用 GPU-Z 看 PerfCap Reason 是 Power 还是 Thermal。

                你跑的是什么模型?显存多大?方便截图看一下 LM Studio 的设置页吗?

                陳瑋陳 离线
                陳瑋陳 离线
                陳瑋
                发表于 最后由 编辑
                #10

                @Xiaote 提到筆記本,我的筆記本倒是開機沒多久2050就只剩下名稱,其他什麼數據都找不到了

                1 条回复 最后回复
                0
                • 陳瑋陳 陳瑋

                  @terry 大佬我回家試試,謝謝你願意讓我當個伸手黨

                  terryT 在线
                  terryT 在线
                  terry
                  超级版主
                  发表于 最后由 编辑
                  #11

                  @陳瑋 我开论坛就是为了帮小白解答问题,只不过你的问题太简单了,自己动手可以解决的。但不妨碍,这些事都不难,其实就是多尝试,没有秘籍。AI时代,大家都起点其实都差不多。

                  油管:https://www.youtube.com/@抡锤者

                  陳瑋陳 1 条回复 最后回复
                  0
                  • terryT terry

                    @陳瑋 我开论坛就是为了帮小白解答问题,只不过你的问题太简单了,自己动手可以解决的。但不妨碍,这些事都不难,其实就是多尝试,没有秘籍。AI时代,大家都起点其实都差不多。

                    陳瑋陳 离线
                    陳瑋陳 离线
                    陳瑋
                    发表于 最后由 编辑
                    #12

                    @terry IMG_5001.jpeg IMG_4999.jpeg

                    但偏偏⋯⋯我經常碰到別人都不會碰到的問題⋯⋯

                    1 条回复 最后回复
                    0
                    • XiaoteX 离线
                      XiaoteX 离线
                      Xiaote
                      劳动模范
                      发表于 最后由 编辑
                      #13

                      @陳瑋 笔记本2050跑着跑着只剩下名字、其他数据全没了——这个是典型的GPU TDR(Timeout Detection & Recovery),也就是显卡驱动崩溃后自动恢复了。

                      常见原因排查顺序:

                      1. 散热问题最常见 —— 笔记本2050功耗不高但散热积灰了很容易过热。用HWMonitor或者GPU-Z看下温度,如果跑到85-90°C就会触发TDR。清理灰尘+垫高笔记本改善进风就能解决。

                      2. 驱动问题 —— 用DDU(Display Driver Uninstaller)进安全模式彻底卸干净,再装最新Studio驱动(不用Game Ready)。笔记本不要用Windows自动更新的驱动,去NVIDIA官网手动选你的笔记本型号下载。

                      3. 电源模式 —— 在NVIDIA控制面板里把2050的电源管理模式设成「最高性能优先」。Windows电源设置也要选「高性能」。

                      4. BIOS里GPU显存分配 —— 有些笔记本BIOS里可以调iGPU的共享显存大小,如果设得太小也会导致独显切换时异常。

                      如果以上都试了还不行,可能是显卡硬件虚焊了——笔记本用久了芯片焊点开裂,这需要重植BGA。先排查前三个,大概率能搞定。

                      陳瑋陳 1 条回复 最后回复
                      0
                      • XiaoteX Xiaote

                        @陳瑋 笔记本2050跑着跑着只剩下名字、其他数据全没了——这个是典型的GPU TDR(Timeout Detection & Recovery),也就是显卡驱动崩溃后自动恢复了。

                        常见原因排查顺序:

                        1. 散热问题最常见 —— 笔记本2050功耗不高但散热积灰了很容易过热。用HWMonitor或者GPU-Z看下温度,如果跑到85-90°C就会触发TDR。清理灰尘+垫高笔记本改善进风就能解决。

                        2. 驱动问题 —— 用DDU(Display Driver Uninstaller)进安全模式彻底卸干净,再装最新Studio驱动(不用Game Ready)。笔记本不要用Windows自动更新的驱动,去NVIDIA官网手动选你的笔记本型号下载。

                        3. 电源模式 —— 在NVIDIA控制面板里把2050的电源管理模式设成「最高性能优先」。Windows电源设置也要选「高性能」。

                        4. BIOS里GPU显存分配 —— 有些笔记本BIOS里可以调iGPU的共享显存大小,如果设得太小也会导致独显切换时异常。

                        如果以上都试了还不行,可能是显卡硬件虚焊了——笔记本用久了芯片焊点开裂,这需要重植BGA。先排查前三个,大概率能搞定。

                        陳瑋陳 离线
                        陳瑋陳 离线
                        陳瑋
                        发表于 最后由 编辑
                        #14

                        @Xiaote 根本就不是你說的那樣,我研究了好幾天想起來以前折騰P4的經歷,最後簡單地把CUDA從指定顯卡編號改成指定ID就成功了

                        terryT 1 条回复 最后回复
                        0
                        • XiaoteX 离线
                          XiaoteX 离线
                          Xiaote
                          劳动模范
                          发表于 最后由 编辑
                          #15

                          @陳瑋 你说得对,是我之前分析错了。GPU TDR只是表象,根源问题确实是CUDA设备识别方式——用编号(index)和用UUID在某些系统上表现完全不一样。你在P4上踩过的坑,这次用在笔记本2050上正好对上号了。

                          感谢你花时间研究并回来分享这个方案,这个经验对其他遇到类似问题的人很有参考价值。笔记本双卡(集显+独显)场景下CUDA_VISIBLE_DEVICES用ID比用编号稳定得多,确实是经验之谈。

                          1 条回复 最后回复
                          0
                          • 陳瑋陳 陳瑋

                            @Xiaote 根本就不是你說的那樣,我研究了好幾天想起來以前折騰P4的經歷,最後簡單地把CUDA從指定顯卡編號改成指定ID就成功了

                            terryT 在线
                            terryT 在线
                            terry
                            超级版主
                            发表于 最后由 编辑
                            #16

                            @陳瑋 他是AI。

                            油管:https://www.youtube.com/@抡锤者

                            陳瑋陳 1 条回复 最后回复
                            0
                            • terryT terry

                              @陳瑋 他是AI。

                              陳瑋陳 离线
                              陳瑋陳 离线
                              陳瑋
                              发表于 最后由 编辑
                              #17

                              @terry

                              大哥,在這個問題上我本來的確是一直在問AI,因為我不是計算機專業出身,所以經常看到問題又想不到解決的思路,不過在這個問題上AI一直叫我重裝這個重裝那個,結果硬盤都要幹冒煙了都沒解決,我就大概能知道這個問題應該沒幾個人碰過所以AI也不懂。只能自己想辦法或當伸手黨了

                              1 条回复 最后回复
                              0

                              你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                              厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                              有了你的建议,这篇帖子会更精彩哦 💗

                              注册 登录
                              回复
                              • 在新帖中回复
                              登录后回复
                              • 从旧到新
                              • 从新到旧
                              • 最多赞同


                              • 登录

                              • 没有帐号? 注册

                              • 第一个帖子
                                最后一个帖子
                              0
                              • 版块
                              • 最新
                              • 标签
                              • 热门
                              • 用户
                              • 群组