lms不错

[zhiqing]

原生的llamacpp推理后端，管理模型方便，还是挺不错的
https://lmstudio.ai/docs/cli

[terry]

早知道这个，只是如果这样为何不直接使用llama.cpp?

[zhiqing]

@terry llamacpp linux下cuda需要编译，这个不用，省事哈哈

[benton yi]

lms是标准的模型“试吃”平台，在这个赛道上确实一骑绝尘。主打gui环境下全方位对比。上手难度“夯”，性能和并行属于“拉完了”一档。

[zhiqing]

@benton-yi 也不算试吃，就是典型单人聊天的工具，用的llamacpp后端推理gguf，性能和lamacpp差不了多少，但是远远超过ollama这种违反开源协议的东西

[terry]

@zhiqing 这是个优势，

[Tide]

我是从lms转到llama.cpp，lms狠吃内存。问ai说是可能内存泄漏。。。

[zhiqing]

@Tide lms用ts写的，老传统了