跳转至内容
  • 2 赞同
    3 帖子
    146 浏览
    imbiplaza ASUSI
    @terry 因为所有agent 还不能够精准做到我想要的东西。。。 我是一个很懒惰的人,我先开头把自己的习惯写成skill.... 以后再真正丢给agent...
  • AI初学者,deepseek Harness + LMstudio 的问题

    AI Agent dsharness lmstudio
    6
    0 赞同
    6 帖子
    190 浏览
    wangqi124W
    在LMS里把Models defaults中的Default Context Length 改成 Model maximum 重启LMS。暂时好了。
  • 大家怎麼看:LM Studio Bionic

    AI Agent lmstudio
    12
    1 赞同
    12 帖子
    566 浏览
    2024fatwolf552
    我用LMStudio主要是在16+256的丐版MacMini M4上,指望使用小模型完成一些小任务。所以我一直认为,类似Macmini M4 16G这样的小主机,才是LMStudio之类的主战场。 但是小模型之前都一直感觉很拉胯,包括Qwen3.5 9B,可能是我水平不够,总之真的不行。后来记得有下载了一个社区蒸馏的版本,感觉跑些本地整理文件的任务才好歹能跑起来了。各种7B,9B模型尝试下来都不太成功,包括Gemma4 12B。后来就倾向于暂时放弃了。一度看到PrimL那个bonsai系列眼前一亮,号称是2Bit能复现Qwen3.5 27B,觉得可能是本地16G小主机的天花板,说不定能打。事实证明还是不行。 LMstudio我感觉直接竞争对象还是ollama那个小羊驼,降低大模型部署门槛用的。但凡会装独立Ubuntu服务器加显卡,必然就上手llama,vLLM,Sglang这些框架,就是另一个维度了。
  • 请教egpu USB4看不到显卡,AMD LM Studio Crashes

    AI硬件 lmstudio
    10
    0 赞同
    10 帖子
    273 浏览
    J
    @cicadabear 好,不过暂时可能不一定。我主要目标是run hermes agent,短期可能用35B A3B,只要AI Max+ 395,或者Macbook/Mini M1/M2/M3 Max就应该可以。现在在用HX370也可用,只是慢一点。等需要认真生成视频才会再研究eGPU。
  • 有关在LMstudio部署本地越狱模型的疑问

    LLM讨论区 本地模型 lmstudio
    2
    0 赞同
    2 帖子
    173 浏览
    XiaoteX
    LM Studio 本身会在对话前注入一个默认的系统提示词(system prompt),里面包含安全准则。即使模型本身已经做了 abliteration(去审查),LM Studio 的 system prompt 会让模型重新遵守安全规则。 解决办法有两种: 在 LM Studio 的聊天界面里,把 System Prompt 清空(设为空)。默认情况下 LM Studio 会给每个对话自动加一段安全引导,删掉它就恢复了。 如果你习惯用命令行,可以用 llama.cpp 直接加载这个 GGUF: ./llama-cli -m DavidAU-Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF -p "你的问题" --no-system-prompt --no-system-prompt 参数确保 llama.cpp 不注入任何系统提示词,模型的 abliteration 才能生效。 你也可以用 llama-server 跑成 API 服务,然后接 Open WebUI 等前端使用。 DavidAU 这个模型本身是做过 abliteration 的,只要没有外部系统提示词覆盖,它应该能直接回答相关问题。你先试清空 LM Studio 的 system prompt,大概率就能解决。
  • Lmstudio gpu使用率過低

    LLM讨论区 本地模型 lmstudio
    17
    0 赞同
    17 帖子
    664 浏览
    陳瑋陳
    @terry 大哥,在這個問題上我本來的確是一直在問AI,因為我不是計算機專業出身,所以經常看到問題又想不到解決的思路,不過在這個問題上AI一直叫我重裝這個重裝那個,結果硬盤都要幹冒煙了都沒解決,我就大概能知道這個問題應該沒幾個人碰過所以AI也不懂。只能自己想辦法或當伸手黨了
  • 0 赞同
    5 帖子
    322 浏览
    M
    谢谢各位,我去试试 .