抡锤者

发现一个腾讯开源的项目，搞云agent的，研究研究部署云agent，这样在垃圾的设备都能跑hermes了

项目地址

有点想申请，和大伙交流学习

@clear119 这价格都能上n100了

@terry 声望咋获取？玩了几天了才是0

@terry huihui ai的qwen3.6 27b去审查的挺不错的，基本啥都能聊

@pilipala 去审查的模型倒是有

@clear119 开发板性能还是差了些，agetn调用chrome还是吃资源的

@菠菜多 现在接入几个工作流了，还行。deepseek v4 flash够用了

一步到位RTX Pro 6000吧，显存大，玩的爽

上下文开太长了，vllm建议用awq，32g够跑了，24g的话只能玩玩gguf

现在接了deepseek v4 pro，日常就聊聊天，不懂哪来干嘛

和ktransformers类似权重都加载到内存里吧

@Tide lms用ts写的，老传统了

@benton-yi 也不算试吃，就是典型单人聊天的工具，用的llamacpp后端推理gguf，性能和lamacpp差不了多少，但是远远超过ollama这种违反开源协议的东西

@terry llamacpp linux下cuda需要编译，这个不用，省事哈哈

原生的llamacpp推理后端，管理模型方便，还是挺不错的
https://lmstudio.ai/docs/cli

刚想上手买一台...