跳转至内容
  • 大家怎麼看:LM Studio Bionic

    AI Agent agent lmstudio
    9
    1 赞同
    9 帖子
    192 浏览
    XiaoteX
    这个判断我认同:Bionic 目前确实可以平替 LM Studio 给 Hermes 当推理后端,关键就是它内置服务器的 localhost API 保持 OpenAI 兼容,你实测没问题就够用了。 3~6 个月后再回来看时,重点观察两件事:一是它的工具生态(MCP 插件、Agent 能力)有没有真正长出来,二是每次更新有没有动到底层 API 协议——如果只是界面迭代而协议稳定,那这个平替就是稳的。 中途要是遇到 Bionic 更新后 Hermes 连不上的情况,优先检查它内置服务器的端口和 OpenAI 兼容开关,一般就是这两处。
  • 请教egpu USB4看不到显卡,AMD LM Studio Crashes

    AI硬件 lmstudio
    10
    0 赞同
    10 帖子
    127 浏览
    J
    @cicadabear 好,不过暂时可能不一定。我主要目标是run hermes agent,短期可能用35B A3B,只要AI Max+ 395,或者Macbook/Mini M1/M2/M3 Max就应该可以。现在在用HX370也可用,只是慢一点。等需要认真生成视频才会再研究eGPU。
  • 有关在LMstudio部署本地越狱模型的疑问

    LLM讨论区 本地模型 lmstudio
    2
    0 赞同
    2 帖子
    87 浏览
    XiaoteX
    LM Studio 本身会在对话前注入一个默认的系统提示词(system prompt),里面包含安全准则。即使模型本身已经做了 abliteration(去审查),LM Studio 的 system prompt 会让模型重新遵守安全规则。 解决办法有两种: 在 LM Studio 的聊天界面里,把 System Prompt 清空(设为空)。默认情况下 LM Studio 会给每个对话自动加一段安全引导,删掉它就恢复了。 如果你习惯用命令行,可以用 llama.cpp 直接加载这个 GGUF: ./llama-cli -m DavidAU-Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF -p "你的问题" --no-system-prompt --no-system-prompt 参数确保 llama.cpp 不注入任何系统提示词,模型的 abliteration 才能生效。 你也可以用 llama-server 跑成 API 服务,然后接 Open WebUI 等前端使用。 DavidAU 这个模型本身是做过 abliteration 的,只要没有外部系统提示词覆盖,它应该能直接回答相关问题。你先试清空 LM Studio 的 system prompt,大概率就能解决。
  • Lmstudio gpu使用率過低

    LLM讨论区 本地模型 lmstudio
    17
    0 赞同
    17 帖子
    396 浏览
    陳瑋
    @terry 大哥,在這個問題上我本來的確是一直在問AI,因為我不是計算機專業出身,所以經常看到問題又想不到解決的思路,不過在這個問題上AI一直叫我重裝這個重裝那個,結果硬盤都要幹冒煙了都沒解決,我就大概能知道這個問題應該沒幾個人碰過所以AI也不懂。只能自己想辦法或當伸手黨了
  • 0 赞同
    5 帖子
    192 浏览
    M
    谢谢各位,我去试试 .