第一就是我怎么配置的，为什么不给教程，我希望问这些问题的朋友认真看下视频，一个视频都不愿意看完，我回到你有什么意义呢？我全部的配置方案就是把用户名密码告诉Hermes，在电报上和它聊天，告诉它我的要求，然后我就去吃饭或者睡觉了。后来我要实现什么调试目标，我也是这样做的，如果有过不去的坎，它会和我请求，我衡量后告诉它，所有聊天的过程就是用这么朴素的语言，如果你搞不定，就多试试看，我就是这么搞的，骗你我能有什么好处？我的小乐助手，使用的是Docker+FP8权重跑起来的，各种参数和运行脚本都是它自己写的，我也把参数分享在了论坛，有需要的自己去找。

论坛也不是我一个人配置成功了，大家在Agent的操作下，配置了不同的模型，不同的参数，殊途同归，最后我们一起交流参数配置，这才有意义，你问为什么不出个教程，我还问你为什么不认真看我的视频呢。我很早就说了，自从我用上DeepSeek V4 Flahs+Hermes，我就再也没有手动配置过环境，无论是ComfyUI还是大模型，我都是让AI自己去配置。时代变了，别总问过时的问题。如果你不知道如何配置Hermes，去看我过往的视频。

第二就是SG-Lang相比于VLLM和LLama.cpp吐字速度快了多少，我没有去测，论坛有不少人测，说是25-30tokens/s，吐字速度肯定比VLLM和Llama.cpp慢多了，它们在不开启MTP的情况下都是在45tokens/s，如果怀疑数据就自己测试，我做个视频没必要骗大家，过往的视频都有测试记录，怀疑的人自己去看。老带着总有刁民想害朕的想法，就不适合学习AI。那么为什么明明SG-Lang的速度不如VLLM和LLama.cpp，部署又麻烦，干嘛要折腾它呢？

当然是它有过人之处，它的Radix缓存树极其高效，是真正的硬核缓存，不仅可以当前会话加速，Prefill只做增量工作，它也能夸会话使用，同一个类型的任务你开几个Agent，它会共享基础缓存，显存占用量会大大降低。4090 48G AWQ模型，有人开了六七个会话跑Agent，我们不会极限优化的，跑FP8模型的，运行两三个会话还是很轻松的。至于说运行效果，大家自己认真看，用心体会。就是它肯定不如DeepSeek V4 Flash快，但是相比于VLLM，SG-Lang显卡狂转，半天做一个任务好多了。对了，提到显卡，它运行时的最大功耗大概是330w左右，而且会很快回落，Llama.cpp和VLLM我实测的时候，基本是负载干满，超过400w是常态。

另外是关于显存消耗，论坛使用Q8模型的哥们是占用了45G以上，我的FP8模型是占用的41G出头，KV缓存是否使用FP8或者Q8量化，目前看来差距不是很夸张。我用了FP8 KV压缩显存还是占用41G出头，智力上也没啥变化，可能是哪里配置有问题，暂时不想去测试了。有观众问32G显卡能不能跑，肯定是可以的，因为Reddit，x等平台上都有跑起来的，选择4比特量化，Q4 GGUF或者AWQ都可以，新卡或许能用FP4权重的模型，可以大大降低显存开销。但我没去折腾，因为本地部署对于我而言就像是越野车，我一定想要买一个，可是平时出门我肯定开电动车，便宜又舒适。只要有了，我就不想折腾了。我建议有5090 32G，RTXpro5000以上卡的朋友去折腾体验肯定很好，如果是Pro6000，那就直接起飞了。

那么这个重金打造的本地助手有什么意义呢？意义可以说非常巨大，它是个多模态模型，还有去对齐版本的，而且智力很好，知识库规模够用，加上它可以配置搜索，完全用来打造私有业务再合适不过了。你的私密图片，视频，音频，文档等，都可以用它在本地处理。如果你要展开一个不方便公开的业务，用在线模型妥妥会泄露数据，那么用Qwen3.6在本地推理，可以大大降低被拒绝服务的概率，安全性也更好。

另外就是成本，有网友留言说它用DeepSeek处理了20多个网页就消耗了1美金，我不知道他是怎么用的，或许他用的不是官方的API，否则这点数据处理最多几毛钱人民币。但是也反映出一个问题，就是如果要AI Agent处理大量非重复数据，价格肯定下不来，因为缓存无法高效命中，这个时候用本地的SG-Lang，它也会变慢，但无妨，它后台一直运行，我们去干其他事，完全不用担心账单的问题。多开几个会话让它跑，它的单个会话tokens几乎不会怎么下降，总体会话的tokens就提升上来了，这是它相比于VLLM，Llama.cpp的另一个巨大优势。

本地部署一直是有一定技术门槛的，你掌握这些技巧，未来几年AI服务会快速发展，有不少小企业，小团体都会有构建私有AI服务的需求，这不就是多了一项谋生技能吗？配置起模型，Agent本质上不难，可是基于它打造个整体服务，能够迅速把客户的业务流程搬到AI服务上，这就是核心竞争力了。我们这些技术宅配置一个Hermes，接入
DeepSeek或者Qwen，看起来很简单，稍微学下就回了，你让培训机构，小诊所的人学会这玩意，那不比登天还难？以后会有很多我们意想不到的业务对AI产生需求，提前卡位总是没错的。

讲实话，Qwen3.6 27b是个神器，就算它以后完全不升级了，它也能完成大多数常规任务了，以后大量的洋垃圾显卡淘汰，比如A100之类的，使用门槛会大大降低。我相信阿里还是会发一些升级版本的 ，可能不会每个版本都有，但是锁定一个版本，就向前推进一步，还是非常值得跟进的。

最近论坛的大神们，都开始感慨Coding Plan给的额度缩水了API涨价了，虽然有Deepeek这样的价格屠夫在，咱们不用担心用不起。可是哪一天DeepSeek这样浓眉大眼的也背叛革命了，我们还是要留一手的。其实很好搭配，就是Hermes躲开几个Profile，脏活累活的，启动本地Qwen3.6 27B，需要高逼格的，启动云端API，这样可以大大降低账单压力。最主要的是，自主权在自己手里，你可以决定什么业务上云，什么业务不上云。

而且有了本地模型，你完全可以做到日常指令用Qwen执行，特定需求比如编程、写作，调用在线AI。而且别忘了，本地还有ComfyUI生态，AI音视频画图都能搞，多买一张显卡，本地业务闭环，还是很值得折腾下的。