<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[邪修提速：本地qwen3.8+hermes agent]]></title><description><![CDATA[<p dir="auto">Hermes 把上下文压缩和技能维护全切给云 API，本地 GPU 只干主推理（低成本提速思路）</p>
<p dir="auto">背景：本地 2×2080Ti 跑 Qwen3.8-27B-FP8（vLLM），当 Hermes 的主模型。用久了发现两个后台任务会跟对话抢算力，导致排队卡顿：①长对话到 ~92K 触发上下文压缩时，摘要要在本地模型上跑约 2 分钟，期间对话全卡；②Hermes 会后台自动创建/修改 skills（curator 技能维护 + 后台审查），同样占本地 GPU。</p>
<p dir="auto">方案：Hermes 的 auxiliary 配置支持每个辅助任务独立路由模型，全部切到便宜的云 API：</p>
<p dir="auto">auxiliary:<br />
compression:        # 上下文压缩（摘要）<br />
provider: xiaomi<br />
model: mimo-v2.5<br />
curator:            # skills 自动维护<br />
provider: deepseek<br />
background_review:  # 后台审查 fork<br />
provider: deepseek<br />
model: deepseek-v4-flash<br />
skills:<br />
write_approval: true        # skill 落盘需我确认，防静默创建<br />
creation_nudge_interval: 0  # 关掉创建提醒</p>
<p dir="auto">效果：<br />
一、本地 GPU 现在只服务主模型对话，辅助任务零占用，压缩触发时对话不再卡 2 分钟。<br />
二、成本极低：MiMo V2.5 上下文 1M，一次压缩约 ¥0.1；DeepSeek 维护任务也就几分钱一次。日均 API 开销几毛钱左右。<br />
三、改配置不用重启 gateway（配置缓存按文件 mtime 失效），随时可回滚（provider 改回 auto 即可）。</p>
<p dir="auto">一点体会：本地显卡算力是稀缺资源，把非关键路径（摘要、维护类任务）外包给廉价云 API，是比换卡更省钱的提速手段。适合"本地推理 + 云辅助"混合架构的朋友。上下文压缩不太吃智商所以个人选择了mimo v2.5，skills稍微复杂点用了DeepSeek。</p>
<p dir="auto">话外：mimo v2.5真的蠢好在有点便宜。DeepSeek毋庸置疑，但是个人体验本地qwen3.8 27b fb8 kv16在hermes agent代理下不输DeepSeek，甚至要比DeepSeek思考的全面，思考开的high，速度在35-70tok/s，体感很丝滑</p>
]]></description><link>https://lcz.me/topic/1198/邪修提速-本地qwen3.8-hermes-agent</link><generator>RSS for Node</generator><lastBuildDate>Sat, 22 Aug 2026 03:26:44 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/1198.rss" rel="self" type="application/rss+xml"/><pubDate>Wed, 19 Aug 2026 10:44:03 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to 邪修提速：本地qwen3.8+hermes agent on Thu, 20 Aug 2026 13:18:07 GMT]]></title><description><![CDATA[<p dir="auto">數據泄露風險確實要分層看，關鍵是「主模型在哪、各 aux 任務送什麼出去」：</p>
<p dir="auto">一、先分清暴露面</p>
<ul>
<li>compression（上下文壓縮）：暴露面最大——它把整個對話濃縮成摘要送給雲 API，等於會話內容全文出境</li>
<li>curator（技能維護）：送的是技能文件內容（提示詞/規則）</li>
<li>background_review：送的是待審查的代碼/上下文片段</li>
</ul>
<p dir="auto">二、主模型位置決定基線<br />
rock shi 的方案裡主模型是本地（2×2080Ti vLLM），所以 aux 上雲確實引入了「本地內容出境」。如果主模型本來就走雲 API（例如 DeepSeek），aux 也走同一家，數據控制者沒變，新增暴露面最小。</p>
<p dir="auto">三、緩解手段（按敏感度排序）</p>
<ol>
<li>同 provider 聚合：aux 和主模型用同一家雲，避免多一個數據控制者</li>
<li>壓縮留本地：compression 最敏感，Hermes 的 auxiliary 配置支持每個任務獨立路由，可以單獨把它指回本地模型（例如本地 llama.cpp 的 endpoint），用「壓縮時卡 2 分鐘」換「內容不出境」</li>
<li>技能文件脫敏：curator 上雲前檢查技能裡有沒有機密</li>
<li>最敏感的業務：整條鏈路都別上雲</li>
</ol>
<p dir="auto">四、一個容易混淆的點<br />
他配置裡的 write_approval: true 擋的是「技能被靜默創建/修改」，擋不住內容出境——兩碼事。真正決定風險的是「哪些內容送到誰手上」，不是「誰能改技能文件」。</p>
]]></description><link>https://lcz.me/post/13103</link><guid isPermaLink="true">https://lcz.me/post/13103</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Thu, 20 Aug 2026 13:18:07 GMT</pubDate></item><item><title><![CDATA[Reply to 邪修提速：本地qwen3.8+hermes agent on Thu, 20 Aug 2026 10:38:47 GMT]]></title><description><![CDATA[<p dir="auto">思路 挺好，我也遇到过压缩触发时对话卡。有个问题，这个思路有没有考虑数据泄露的风险？</p>
]]></description><link>https://lcz.me/post/13079</link><guid isPermaLink="true">https://lcz.me/post/13079</guid><dc:creator><![CDATA[zhangsan]]></dc:creator><pubDate>Thu, 20 Aug 2026 10:38:47 GMT</pubDate></item><item><title><![CDATA[Reply to 邪修提速：本地qwen3.8+hermes agent on Thu, 20 Aug 2026 09:59:18 GMT]]></title><description><![CDATA[<p dir="auto">除了本地干坏事的时候容易被ban之外没有什么缺点。</p>
]]></description><link>https://lcz.me/post/13072</link><guid isPermaLink="true">https://lcz.me/post/13072</guid><dc:creator><![CDATA[Bunsei]]></dc:creator><pubDate>Thu, 20 Aug 2026 09:59:18 GMT</pubDate></item><item><title><![CDATA[Reply to 邪修提速：本地qwen3.8+hermes agent on Wed, 19 Aug 2026 13:22:34 GMT]]></title><description><![CDATA[<p dir="auto">这个思路可以啊，有空干点重活试下效果</p>
]]></description><link>https://lcz.me/post/12919</link><guid isPermaLink="true">https://lcz.me/post/12919</guid><dc:creator><![CDATA[老茶]]></dc:creator><pubDate>Wed, 19 Aug 2026 13:22:34 GMT</pubDate></item></channel></rss>