跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
kop wangK

kop wang

@kop wang
易有太极
取消关注 关注
关于
帖子
413
主题
32
分享
0
群组
1
粉丝
7
关注
0

帖子

最新 最佳 有争议的

  • strata极致优化指南(参数篇)64GB RAM + RTX pro 5000 48GB, IQ3_XXS量化,prefill 4500t/s,decode 180t/s 同时缓存5个262k会话不重新prefill
    kop wangK kop wang
    LLM讨论区 strata rtxpro5000 量化

    前言:strata最近已经火出圈了,火到RAM又翻了个倍。目前京东自营,海力士颗粒的64GB的DDR5 6000内存已经几近破万。

    十一长假回来,笔者也是暂时小试牛刀了一把,发现有一些关键参数,会直接影响整个LLM引擎的本质体验,但是默认值并不是特别合理。所以发个tips小文供大家交流。欢迎批评指正。

    本文全程手打,无任何AI含量,请放心阅读。
    image.jpeg


    1、Harness会频繁唤起子代理(sub agent),导致切换会话prefill浪费太多时间,怎么办?

    答:开启--conversation-cache-mib

    这个参数会让strata使用RAM来缓存历史对话,从而不让LLM反复重新prefill老的session。增加会话切换时的速度,对于agent、harness场景有奇效。

    开启conversation-cache-mib后,monitor面板会有如下展示:
    image.jpeg

    分别表述当期缓存了多少个会话,以及目前占用了多少RAM。

    这个机制有两个痛点:1、不支持多显卡。2、最大只支持20GB的对话缓存(如果是8bitkvcache,大概就是4各半的262k context)。


    2、我的显卡显存总是占不满,浪费一些,怎么破?

    答:配置--expert-cache,不要用auto档位。手动指定

    让更多的专家进驻显存。注意,手动指定的是下限,所以要反复测试量力而行。


    3、我想使用上文的conversation-cache,但是我RAM都快满了,怎么办?

    答:启用低内存模式:--resident-experts

    小科普,正常默认情况下,strata加载的专家是内存+SSD加载全量,vRAM加载高命中概率专家。相当于RAM和vRAM之间,是有一定的重复加载的。

    官方这样指定默认值是有道理的,一旦VRAM的专家没能命中,直接可以读取RAM的进入vRAM。
    代价就是这会导致RAM的极大浪费。

    通过配置低内存模式,能够让vRAM+RAM分别加载不同专家,分工合作。这样能节省巨量RAM。代价是一旦VRAM中的专家没能命中,除了从RAM读取以外,还要从vRAM剔除一个回写到RAM。但相较于直接节省40GB的RAM空间而言,这点回写简直可以忽略不计。而且你显卡的显存越大,遇到回写的概率越低。
    笔者的是48GB的 rtx pro 5000,专家命中率一直保持在99%。


    4、我想多个聊天会话一起聊(并发),怎么办?
    答,配置parallel: X(X是并发会话数,最大8)

    会占用显存,我个人实测,IQ3_XXS量化下,会话长度262k,每个并发占用5.2GB显存。

    以上,欢迎列为交流,指正。最后列出我个人的全套参数,供各位参考。

    "args": [
      "--pack", "C:\\work\\Strata-data\\packs\\iq3_xxs",
      "--native", "C:\\work\\Strata-data\\models\\IQ3_XXS\\Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS-00001-of-00002.gguf",
      "--ple-gguf", "C:\\work\\Strata-data\\models\\IQ3_XXS\\Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS-00002-of-00002.gguf",
      "--expert-profile", "C:\\work\\Strata\\data\\expert-profile.bin",
      "--resident-experts",
      "--expert-cache", "19000",
      "--prefill", "auto",
      "--spec", "4",
      "--mtp", "C:\\work\\Strata-data\\mtp\\rt",
      "--max-context", "262144",
      "--kv", "k8v4",
      "--vision", 
      "--vram-reserve-mib", "3400", 
      "--pcie-frac", "0.00", 
      "--spec-min-p", "0.70",
      "--conversation-cache-mib", "20480",
      "--conversation-cache-slots", "6",
      "--conversation-cache-min-free-mib", "13824",
      "--prompt-cache-every", "8192"
     ],
    

  • 零代码编程小记——一次完全放手的VibeCoding心路历程
    kop wangK kop wang
    AI Agent 编程

    前言:

    此帖灵感来源于:AI 产品溢出产能回收计划 & 实战任务发布 - 任务 二
    在此特意鸣谢站长锤哥@terry ,以及甲方@williamlouis 的鼎力支持。

    本文意在传递AI编程的体验与思路,从而帮助无编程经验,或编程经验低的人能够轻松的、果敢的通过AI赋能,实现自己的软件需求。最终人人都是产品经理。

    注:基于业务的保密性,以下实际例子均为改编杜撰,仅供示例参考


    1、人和AI的合作模式

    对于 AI Coding,我认为有三种协作方式,人类分别扮演“董事长”、“总监”、“组长”。

    董事长,只提出方向,不考虑可行性,不给具体业务,更不会给技术指导。给出的提示词类似是:

    “给我做一个更好的搜索引擎,打败百度,称霸世界”
    

    这个级别目前的AI还无法实现,估计要到梁总口中的AGI实现之后才有可能性。

    总监,只给业务目标和验收标准,不管技术实现。给出的提示词类似是:

    “做一个房产数据分析工具:自动采集某房产平台全部分区的房源,跟踪详情链接拿到真实挂牌地址,按区域分类;分析每套房源的价格走势和关注热度;之后我人工勾选要重点关注的房源,系统自动生成购房分析报告。”
    

    这是目前 AI Coding 性价比最高的模式:需求里只有目标、流程和验收标准,没有任何一行技术描述,剩下全部由 AI 自己决策。这次任务的甲方需求就是这样——几段语音讲清业务流程和验收规则,全程没有一个技术名词。

    组长,在总监之上再加一层项目管理:把大目标拆成小任务,逐个派给 AI,逐个验收,不合格就打回重做。比如:

    “预算以用户填写的为准,不要自己计算。”
    “接口限流时直接回退到备用方案,不要反复重试。”
    

    这三种模式本质是“人类把多少决策权交给 AI”的程度。这次任务我就是“总监式推进”,全程没写业务代码,也没有干预技术选型,顺利竣工通过验收。


    2、模型能力 or Harness能力

    很多人以为 AI 编程好不好用,主要看工具(Harness)强不强。我的实际感受恰恰相反:决定程序质量的永远是模型本身,工具只决定生产过程中的性格偏好和严谨程度。

    同一套工具、同一个需求,只是中途换个模型,结果完全不同:

    模型 A:直接抓页面 HTML,正则抠数据,写一次性脚本。
    模型 B:发现数据内嵌在页面结构化 JSON 里,设计了分页、去重、重试,输出可复用模块。
    

    A、B 都能“完成任务”,但 B 的方案能稳定跑很久,A 的灵活性就很差,页面有变动就失效了。排错时差距更明显:一个只会说“重启试试”,另一个能啃完两百多万 token 的日志代码,定位根因并给出回归测试。项目中途模型升级后,产出明显上了一个台阶——工具没变,变的只有模型。

    Harness 也有用,但它影响的是“怎么做”:有子代理的工具更主动探索,有计划模式的更先想后做,接入了规范、技能、沙箱和提交流程的更严谨。我用 opencode 和 Codex 时,同一模型换工具后“性格”确实会变,Codex更慢,但更严谨,openCode更快但容易走捷径。最终决定代码质量上限的还是模型。


    3、VibeCoding的生产力放大杠杆

    整个项目所有 AI 调用,累计 99 个会话、约 2500 万输入 tokens,按量计费的账单是 36.56 美元。但我用的是 opencodeGO 订阅——10 美元换 60 美金额度(1:6),所以实际开销要按订阅比例折算:

    36.56 ÷ 60 × 10 ≈ 6.1 美元
    

    整个项目的 AI 成本,折算下来不到 7 美元。

    之所以有如此大的杠杆,个人理解,有三个原因:

    1. AI 的边际成本趋近于零——同样的代码,让 AI 写十遍和让程序员写十遍,成本差几个数量级;
    2. 人只做管理和验收,不做执行——我的时间花在“提需求、看结果、把关”,而不是一行行敲代码;
    3. 能自动找便宜方案——需要付费数据源的地方,AI 会先用免费替代方案顶上去,而不是一上来就买几千块的 API。

    所以VibeCoding 的本质,是把“编程这种高成本技能”变成“接近零边际成本的商品”,人从“生产者”变成“管理者”。


    4、质量把控:用测试定义成品

    先做一个简短科普。TDD(测试驱动开发)的核心不是“写测试”,而是用产品和业务的语言,先把“什么是正确的”写下来,再让代码去满足它。本质上就三步:

    1. 把“需要什么、什么是正确的结果”用业务语言写下来;
    2. 让 AI 写代码去满足这个清单;
    3. 数次迭代打磨,找到实现这个业务目标的最优方式。

    这里最关键的一点:测试必须用产品/业务定义来写,而不是用代码逻辑来写。

    因为测试是“成品的定义”。如果你让 AI 照着现有代码补测试,它写出来的自然是“证明代码能跑”的测试。这就像让运动员自己给自己打分:他总能给自己打出高分,但并没有意义。

    用业务定义写测试就不一样了:

    测试 1:整个页面的加载时间不能超过5秒钟;
    测试 2:分页能自动翻到最后一页,不遗漏、不重复;
    测试 3:出现错误整个功能不能崩溃、不能闪退,记录日志;
    

    AI 拿到这份测试,只能朝着让业务用例全部通过的方向写实现,实现写得再花哨,业务用例没过就是不合格;业务用例全部通过,才说明流程真的符合需求。TDD是把“验收标准”告诉模型;而验收标准只有以业务定义撰写,测试才真正符合业务流程。

    对 vibe coding 来说,TDD 是控制权——它决定“最终成品由谁定义”:是业务流程,还是 AI 的即兴发挥。想让 AI 交付符合你业务流程的东西,就用产品和业务的语言,先把验收标准写下来。


    5、后记

    整个开发流程走下来,其实比想象中要顺利,且恰巧赶上了模型能力的大幅提升。deepseek-v4-flash-0731帮了我大忙。如果没有0731,可能整个项目的总成本要翻倍到15美元左右。

    如果从“注意力”的时长来计算:我作为“总监”实际投入的精力,大概只有 2~3 个人/天,也就是16~24小时。而且大部分不是生产,而是试错、调研、打磨和体验。剩下的执行、排错、迭代,都是deepseek-v4-flash、GLM5.2、KIMI k3,以及opencode、Codex(现叫chatGPT)的功劳。

    最后,再次感谢机会与信任。欢迎大家在评论区交流Vibe Coding的思路和想法,一起进步。

    以上。


  • Hermes Desktop 桌面版快速上手指南
    kop wangK kop wang
    AI Agent hermes

    最近,Hermes 发布了官方桌面版程序。
    它让 Agent 对普通用户再一次降低了使用门槛——你不需要配置复杂的 Message Gateway,不需要摆弄命令行,在一个类似 ChatGPT 的 GUI 环境中就能使用 Hermes 的一切特性。

    本人也是最近高强度使用了两天桌面模式,我们一起来快速过一下Desktop版本的功能和配置技巧。

    注:基于本人常用环境。本教程的所有配置均来自于windows11 + wsl2。其他环境(linux、macOS)略有区别,可以自行判断或回帖咨询。
    注2:本介绍基于Hermes Agent v0.15.1,因为最近Desktop侧更新迅速,所以尽量使用最新版本。可能我这里是坑的问题,在新版本就已经不是问题了。
    注3:目前官方并没有单独的“桌面版客户端”,所有的desktop安装引导,最终安装的都是整套hermes agent。所以尽量选择升级hermes来体验客户端功能,如果盲目重复安装,可能带来一些意想不到的麻烦。


    为什么要用 Desktop

    简单粗暴的列一个对比表格:

    CLI 版 Desktop 版
    终端操作,学习成本高 图形界面,开箱即用
    配置靠改 YAML 配置靠点选
    无法直观管理会话 可视化会话搜索 / 恢复 / 删除
    技能 / 工具 / 记忆全靠命令 GUI 管理全部
    不支持图形化调度 可视化 Cron 任务编辑器

    再简单粗暴的上一个图片:
    5727bf1d-3ca8-45e5-a9dd-2202ef4d4e20-image.jpeg

    结果不言而喻,所有的命令、sessionID、都不需要进行记忆和查看,可以完全靠鼠标使用Hermes。


    我已经正在使用 Hermes Agent,如何连接 Desktop?

    你有两种姿势可以在已有的Hermes Agent中接入Desktop。

    直接启动桌面版

    执行:

    hermes update
    

    将hermes agent更新到最新版本。然后直接在命令行中启动:

    hermes desktop
    

    远程链接hermes gateway

    这是浪费我时间最多的点,官方没有任何文章阐明到底该如何链接远程的hermes服务。以下内容均为笔者通过读hermes源码复现的,所以可能并非最佳实践,仅供参考。

    81e964cc-19d2-4a50-9dc1-301d0bec2705-image.jpeg

    本质上,hermes desktop是通过hermes api来实现和hermes主进程沟通的。所以,如果想远程链接hermes,需要注意要启动hermes的API服务,要生成固定的token,以及要启动hermes的dashboard。

    1、打开hermes API Server
    你需要在.hermes/.env文件中添加如下内容:

    API_SERVER_ENABLED=true
    API_SERVER_KEY=hermes-remote-8642
    API_SERVER_HOST=0.0.0.0
    

    其中,API_SERVER_KEY是随便的,你只需要定义就好。配置后,重启系统/wsl。

    2、生成session token
    在命令行中执行以下命令:

    TOKEN=$(openssl rand -base64 32)
    echo "HERMES_DASHBOARD_SESSION_TOKEN=$TOKEN" >> ~/.hermes/.env
    chmod 600 ~/.hermes/.env
    echo "$TOKEN"
    

    执行后,会在.env文件中多出一行token,这个token也会显示在命令行的结尾,复制出来备用。

    3、启动 hermes dashboard
    在命令行运行:

    hermes dashboard --tui --no-open --insecure --host 0.0.0.0 --port 9119
    

    其中,--tui是为了启动聊天功能,--no-open是不需要打开网页后台,--insecure是采用session_token作为验证方式。

    然后你就可以回到desktop,在设置中勾选Remote gateway,然后输入你的服务器端ip、端口(9119),session token就是刚才你生成的一串字符。

    点击test remote,如果报:connected to xxx,就是成功了,可以 save and reconnect。


    Desktop 的独特功能

    • 放开了部分配置,比如Memory文件长度等。
    • 可以调整模型的thinking长度。
    • 可视化手动指定定时任务
    • 可视化定制Hermes的profile和子Agent人格
    • 免配置的语音对聊

    其他的dashboard包含的可视化功能就不赘述了。

    错误处理

    目前桌面版还是属于比较初级的阶段,所以遇到错误的情况还是很多的。一般情况下都可以通过重启desktop来解决。以下列出几种比较棘手的错误:

    1、我错误的设置了remote URL,导致hermes desktop一直connecting卡死。
    等30秒,会弹出一个修复界面。点击use local gateway就可以回到本地hermes环境。然后再进行配置。

    2、打开hermes desktop,强制我必须配置一个模型,而且没有deepseek等供应商。
    通过命令行hermes model先配置一个模型,然后再打开hermes desktop就不会再有引导提示了。已经有人提了帖子,人为这个引导提示帮倒忙,希望官方去掉,目前还没有审核通过。

    3、部分配置是灰色、空白等
    说明你/你的模型之前自定义过这部分配置,导致desktop无法识别其内容。如果没有特殊需求,不要进行改动。改了就回不到你的自定义设置了。

    其他问题欢迎大家回帖指正,交流。


  • 来自RTX PRO 5000的碎碎念
    kop wangK kop wang
    AI硬件 rtxpro5000

    最近入手了一张RTX PRO 5000,上机试用了几天。于是上来发一个零散的使用记录与心得。
    个人拙见,如有错误欢迎指正。


    1、购买理由

    在5月涨价之前,相比较7.3万的rtx pro 6000 96GB,3.6万的rtx pro 5000 48GB完全没有任何性价比。
    但随着这一轮涨价,pro6000的价格飙升到了10万以上,这时候只溢价2000的pro 5000 48GB就逐渐香了起来。

    在综合考虑能耗、噪音、稳定性等维度之后,最终摒弃了4090 48GB魔改版本,选择了国行的RTX PRO 5000。


    2、硬件安装

    特殊的涡轮卡
    RTX PRO 5000是一个1.5槽散热+0.5槽输出接口的非标准显卡。接在普通的塔式机箱时,散热出口会被机箱pcie格栅挡掉一部分。同时,因为dp口靠上,所以dp口也是将将露出pcie挡板。于是,航空剪伺候,我去掉了一条pcie格栅。

    0ff5ace3-e47e-4072-85bf-c96b38913da0-image.jpeg

    DP接口也略有遮挡,但综合考虑之后我还是决定保留上面的pcie格栅,否则因为去掉太多,显卡固定螺丝位置的刚性会有所下降。

    16pin注意事项
    随卡附带一条双8pin转16pin转接线。需要注意的是,如果你之前的显卡用的是1分2的8pin接口,对于300W功率的RTX PRO 5000,峰值使用电流就接近单8pin的功率极限了。所以建议还是老老实实使用双8pin转16pin电源线。如果你的电源原生支持16pin的话,则更好。

    btw:不同品牌电源的8pin、16pin线不要混用。不同品牌,电源侧的针脚定义是有概率不一致的。
    值得吐槽的是,即便是专业卡,16pin还是老样子,插入手感模糊,紧。没有锁定感,所以一定插到底。
    

    3、实际测试

    综合芯片的算力和显存大小,qwen3.6-27B运行Q6应该是最佳的甜点区间。使用Claude Code进行实际相同的编程任务测速。

    启动参数:

    -m ~/.local/models/Qwen3.6-27B-Q6_K.gguf \
    --mmproj ~/.local/models/mmproj-BF16.gguf \
    -ngl 99 \
    --flash-attn on \
    --cache-type-k q8_0 \
    --cache-type-v q8_0 \
    -c 262144 \
    --port 8080 \
    --host 0.0.0.0 \
    --temp 0.6 \
    --top-p 0.95 \
    --repeat-penalty 1.05 \
    --spec-type draft-mtp \
    --spec-draft-n-max 2
    

    非MTP:prefill在1400t/s,decode速度在32t/s左右。
    6a54ad1f-62fd-4f1d-981b-a995cda15119-image.jpeg
    MTP x2:prefill在1400t/s,decode在51t/s左右。
    2d4621cf-5485-444a-894f-3d4dba1c9504-image.jpeg

    注意:实际使用过程中,随着上下文的膨胀,速度会有所下降。以及并不是所有请求MTP都能够命中生效,总体命中概率大概60%。


    4、使用体验

    噪音:典型的涡轮卡目标温度调教,核心温度会锁死85度。室温在28度左右的情况下,满载压在85度的转速大概是60%。噪音是完全被CPU风扇+机箱风扇掩盖的。
    在跑qwen3.6-27B-nvfp4时,曾经崩溃过驱动导致死机。这时风扇会自动锁死100%,动静还是很大的。和戴森吸尘器有一拼。

    稳定性:同上,只在运行nvfp4时驱动崩溃自动重启过,目前还没排查出原因。已经用DDU全清了显卡驱动,然后重新安装了596.59,再观察观察。


    5、个人思考

    如果不考虑个人预算,只从单纯的AI硬件性价比来讲,目前PRO 5000和PRO 6000的价格结构才是合理的(6000大概是5000的2.5~3倍)。反过来思考,上个月7.3万的PRO 6000工作站版是真的非常有性价比(几乎可以理解为显存叠加,芯片性能白送)。

    音视频是我之前不太擅长的领域,目前也在逐渐尝试,发现大场景,高动态的视频场景,48GB的显存+64GB内存还是远远不够。
    但是世界上没有如果。所以只能是以优化、折腾管线、工作流来换价格了。


  • 如何远程使用DSH?——推荐dsh-im插件
    kop wangK kop wang
    AI Agent dsharness

    如题,开源库地址:https://github.com/xmanrui/dsh-im

    安装方式:在插件>安装插件中输入:@xmanrui/dsh-im
    等待安装完成即可。通过插件中的IM机器人进入设置,扫码即可绑定。
    image.jpeg


    支持平台:
    image.jpeg


    笔者的平台推荐:
    飞书
    飞书支持所有的特性,思考过程、执行步骤、工具调用、流式输出、群聊私聊。
    ff42af3710f0e17c2548b14948074043.jpg

    微信
    最平易近人的平台,但除了对话之外,不支持任何额外特性(也没法群聊)。但也最方便。


  • DeepseekHarness v0.1 开发者预览版登场
    kop wangK kop wang
    AI Agent deepseek 编程

    https://github.com/deepseek-ai/deepseek-harness
    d1e65200-9e18-4d36-8bcc-1f97055c46a0-image.jpeg
    有几个比较特别的特性,可以和大家分享。


    1、支持PTC模式(接口模式)。

    之前的Agent,都是Agent告诉模型,我有A、B、C三个工具,你挑一个用。
    PTC模式是,我有三个接口,A、B、C,你自己写个python程序自己根据需求安排调用。

    这样就把顺序执行的工具调用,改成了一口气代码执行的多次调用。
    优势是节省时间,节省token,模型直接分析一套工具后的所有结果。
    代价就是依赖模型的能力,一旦模型犯傻,脚本写错了,整个工具调用都会浪费。


    2、提供详尽的调用详情(有可能是针对开发者预览临时的)。

    对于好奇Agent是如何工作的人,有非常好的指导意义,你能看到用户、系统提示词、模型、工具,这四者之间的逻辑关系:
    3a2ec21a-18a0-488e-bcec-fefe0e5daf70-image.jpeg

    注:上面就是我用PTC模式的调用,所以所有的TOOL都是代码执行,subtool才是真正的工具执行,一口气可以调用多个工具。
    

    3、支持BYOK(不光支持deepseek自身API,也原生支持配第三方提供商和key)

    一开始启动就原生支持第三方,真的非常可贵。

    以上。欢迎大家交流。


  • 还没找到组织,咱们有飞机群,或者微信群,或者QQ群吗?
    kop wangK kop wang
    随便聊聊

    我觉得BBS这种形式是最适合的交流平台。可回溯、可seo、可引用、可匿名查看。
    每个人写的文字都能真切的影响整个互联网的信息质量,而不是像IM软件中,吹牛吹完就烟消云散了。


  • Wan2.2 I2V(图生视频)技巧Tips
    kop wangK kop wang
    AI音视频画图 wan

    最近刚接触多媒体生成这块,所以知识体系还不足以能够分享整个工作流,所以只能是发一些我的观察和经验,欢迎交流指教。

    1、生成视频尽量使用模型原生训练的帧率和总帧数。对于wan2.2的I2V而言,就是81帧,fps16。总帧数、fps加大会导致一些问题,最明显的就是质量劣化,或者动作漂移。本质上就是模型其实处理不了那么多的总帧数。

    2、官方推荐的参数基本上就是最理想的参数,比如在使用加速LoRA:LightX2V时,总步数是4,CFG是1,sigma接近0.9,CRF低于18

    3、如果需要最终输出的视频参数改动(分辨率、帧率、总长度)尽量使用对视频后期处理思路来改动,比如利用 RIFE来插帧,从而提升帧率。利用Wan2.2的FLF2V(首尾帧生成) 来实现多段5秒的视频无缝组合,从而延长时间等。

    大概就酱。


  • 为了论坛的健康发展,请勿在技术板块发布、回复spam(引流、推广、钓鱼)内容
    kop wangK kop wang
    站点事务

    为了给大家营造一个干净、高效的技术交流环境,即日起,请勿在技术板块发布或回复任何 SPAM 内容(包括但不限于广告推广、引流拉新、钓鱼链接等)。这类信息会严重干扰正常讨论,降低内容质量,也会影响优质帖子被搜索引擎收录和推荐。

    同时,我们非常鼓励大家在技术板块发帖、回帖时,多分享一些有价值的信息。这些内容不需要是严谨的技术结论,你的个人理解、实战经历、踩坑体会,对别人来说可能都是很有帮助的参考。当大家的点滴分享汇聚起来,论坛自然就能成为获取一手资讯、高效交流的好地方,优质内容也会更容易被搜索到,吸引更多同好加入。

    随着论坛流量和活跃度的提升,我会提议开设专门的推广 / 商务板块,供有需求的朋友合规地发布宣传信息。在专属板块上线之前,还请大家理解并配合,让技术板块保持专业和纯净。

    感谢每一位用心交流的朋友。


  • 我开源了一个deepseek harness插件,解决挂接sglang/vllm时,角色冲突的问题
    kop wangK kop wang
    AI Agent dsharness vllm

    https://github.com/kop1989/dsh-localqwen-rolefix

    本质来讲,就是一旦dsh的请求带推理强度,角色就会变成”developer“。但是vllm和SGLang是不认这个角色的。他们只认”system“、”user“这两个用户侧角色。

    插件的作用,就是在保留dsh的推理强度选项的前提下,让sglang和vllm可以正常使用dsh。不会出现400错误。

    这样既方便调整思考强度(默认xhigh会超长思考),又可以使用sglang超强的prefill性能。

    以上。


  • 關於GB10跟N1X
    kop wangK kop wang
    随便聊聊 gb10

    通读了全文,很尴尬的一点是,从模型能力的角度考虑,目前并没有150~190GB能够吊打qwen3.6-27B的开源模型。

    目前而言,老的大体量模型体现的也只有知识容量的优势。Agent能力、注意力分配以及ToolCall能力在开源领域要么就是新的超大模型,要么就是qwen3.6-27B这类新的小模型。
    因为中等体量模型很长时间都没有更新过了。他们的后训练和能力对齐普遍跟不上时代需要。

    目前的中体量模型很像一个老教授。有知识,有认知,但是不会用手机,不会打字。

    所以如果是我,我就不会推荐楼主去购入新设备。边际收益递减的太过明显。无论是GB10 x2,还是RTX PRO 6000 x2,都没有明显超越PRO 6000 x1的场景出现。


  • 在线调用的最大无奈
    kop wangK kop wang
    随便聊聊 本地模型 deepseek

    这个是典型的Agent工具和API格式不适配的情况,和什么场景无关。需要确认的是你的Agent工具是什么,其格式是否符合deepseek官网提供的两种兼容API其一。

    本地LLM能正常运行,普遍是因为不管是llama.cpp还是vllm,他们的API都是考虑最大化宽松兼容的,走的是能跑就跑的设计思路,和线上API的效率优先逻辑不同。


  • Hermes Agent 快速上手指南
    kop wangK kop wang
    AI Agent hermes

    随着锤哥视频引流,新人越来越多,感受到大家可能需要一个简单粗暴的指南来给大家在使用Agnet,以及利用Agent作为助手调试LLM性能过程中做出一些启发,于是花了一点时间写了下文,供大家交流。

    因为全程手写,所以难免有拼写、时效性、技术细节方面的错误,如有失误,请随时指正,我及时修改。
    如有疑问,欢迎随时回帖提问,我每天会抽出时间回答。

    注:如果你已经能熟熟练使用Hermes Agent或OpenClaw,或许这篇文章就不适合你了,欢迎发帖、回帖讨论任何Agent相关内容。
    注2:考虑到是“快速上手”,所以下文中有很多简单粗暴的比喻和概念拆解,只供做逻辑参考,不能100%完全符合实际技术原理与特性。如有深入交流的需求,我在有时间的前提下会开帖深入探讨。


    0、使用 Hermes Agent 的前提是什么

    要求
    系统 Linux / macOS / WSL2(Windows)/ Windows原生(早期测试)
    基座LLM 至少一个 LLM 提供商的密钥(MiniMax、DeepSeek、qwen 等 20+ 种)或者自建LLM
    安装教程(官网) https://hermes-agent.nousresearch.com/docs/zh-Hans/getting-started/installation

    安装后运行 hermes setup 走完初始化向导即可开始。


    1、为何使用 Hermes Agent,和 Chat 聊天窗口的区别

    普通 Chat网页(类似DeepSeek 网页版)是对话工具:你说一句它回一句,会话无记忆,用完即焚,无法操作你的电脑。

    Hermes Agent 你可以理解为是你的助手、秘书,他和你一样,有使用当前电脑的一切能力:

    ChatBot Hermes Agent
    会话持久性 无(除了chatGPT) 跨会话记忆
    工具执行 无 运行命令、读写文件、操控浏览器、发消息
    定时任务 无 有定时执行机制
    学习进化 无 通过 skill 积累经验,重复任务执行更快,更省token
    多平台 无 Telegram / Discord / Slack / CLI 等 10+ 平台
    模型自由 被平台限制 随时切换任意模型/提供商

    2、如何高效地和 Hermes Agent 沟通

    2.1 正确看待 Hermes Agent 的角色

    就像上面所说的,既不能把他当作全知全能的神,也不能把他当作没有判断力的应届实习生。

    核心原则就是:描述你的前提,告诉他你要什么结果,如何验收这个结果的正确性。不要去关心具体怎么操作。Hermes 会自动选工具、定步骤。

    不要犯蒋校长的错误,又菜又爱玩微操。
    也不要像你的女朋友对待你一样,什么事儿都要Hermes猜。LLM的逻辑转换能力是受到神经网络层级限制的,你越让他猜,他最终分配在执行和统计上的智商就越低。

    2.2 session_search —— 让 Hermes 记得你们聊过什么

    Hermes 具备跨会话检索能力。当你在新会话中提到之前讨论过的话题,Hermes 会自动搜索历史会话找回上下文。

    所以不需要每次重复背景信息。直接说

    "昨天我们讨论部署qwen3.6-27B,我试了你推荐的方案,结果是……如何让prefill速度再快一点?",
    

    Hermes 自己能找到那次对话。

    2.3 Skill —— 让 Hermes 记住怎么做最好

    Skill 的本质就是一段文字叙述,记录着做某件事的技巧和流程。
    如果想对你的某件事创建skill很简单。只需要两步:
    1——你让你的hermes做一遍,和他一起配合做成功。
    2——告诉他:

    “把这个流程总结成skill。以后再做XXX就按照这个做”
    

    2.4 抹平信息差 —— Hermes 看不到你的屏幕、猜不到你的心思。

    这是最容易被忽略的一点。Hermes 通过命令行与系统交互,但看不到你的屏幕、你的浏览器标签页、你的思维过程。

    所以,说话请说全:

    "我现在在做XXX,报了一个YYY的错误,错误信息是:abcde,帮我修复一下。"
    

    如果复制粘贴做不到,可以截图发给他。Hermes Agent有视觉能力,当然前提是你的基座LLM得是多模态模型。或者你按照上文中skill的技巧,告诉他需要视觉能力时,走某个另外一个模型。

    另外,如果你只是想让他给你提示和规划,不想让他上手做,请明确说明。
    不要像你的女朋友一样:“你没看见这里很脏吗?”,“我让你用扫把扫了吗?不会用拖把吗?”
    要向你一样:“媳妇儿,帮我看看我手机是不是在客厅?在就行了,不用拿过来”


    3、Hermes Agent 都能为我完成什么

    3.1 定时任务(Cron)

    Hermes 内置作业调度器,支持自然语言时间描述。

    “每天早上9点取一下24小时之内的hacker news 热帖,翻译标题并生成一句话总结,发到我discord上。”
    “每过一个小时,监控一下我目前持仓的A股股票的技术参数,从短线的视角来看,如果出现MA5斜率为负(balabala你自己喜欢的指标特征),就给我发discord通知我,连续发三遍”
    

    3.2 本机电脑操作

    Hermes 可以直接在终端执行命令,包括但不限于:

    类别 示例
    系统管理 检查磁盘/内存/进程,安装包,管理服务
    代码操作 Git 提交/推送/合并,代码格式化,类型检查
    文件管理 读写/搜索/替换/重命名文件
    网络工具 curl API 调用,SSH 远程连接,端口检查
    Python 执行 运行脚本、数据分析、批量处理

    安全机制:危险命令(rm -rf、sudo 等)会弹确认提示,可通过 --yolo 全局跳过。
    所以,你可以利用Hermes来帮你测试并调试本地LLM运行参数、环境,甚至是进行模型的训练和微调。

    3.3 浏览器页面操作

    Hermes 可以操控内置的浏览器,完成需要页面交互的操作:

    场景 说明
    网页抓取 加载动态渲染页面,提取结构化内容
    表单填写 登录、提交表单、领取福利
    截图验证 截取页面截图 + vision 分析(例如验证码识别)
    自动化操作 点击、滚动、键盘输入,模拟真实用户行为

    4、思考题

    如果我希望Hermes Agent来帮我炒股,股票代码000001,价格超过5元卖出,价格低于4元买入。你会怎么PUA他?


    附录:常用命令速查

    # 启动会话
    hermes                     # 交互模式
    hermes --continue          # 继续上次会话
    
    # 配置
    hermes setup               # 初始化向导
    hermes model               # 切换模型/提供商
    hermes doctor              # 健康检查
    
    # 技能管理
    hermes skills browse       # 浏览技能市场
    hermes skills install ID   # 安装技能
    hermes skills list         # 查看已安装
    
    # 工具管理
    hermes tools list          # 查看可用工具集
    
    # 定时任务
    hermes cron list           # 查看所有任务
    
    # 会话
    hermes sessions list       # 查看历史会话
    /reset 或者 /new                    # 新会话(工具变更后需重置)
    
    # 查看完整文档
    https://hermes-agent.nousresearch.com/docs/
    

  • 我最近对AI有点顿悟了,发现架构能力和判断能力是最重要的!
    kop wangK kop wang
    Mark专区 编程 rag 微调

    本质上还是统计学结果和实际价值之间的“夹角”导致的。
    对于机器学习模型而言,多=正确,在99%的场景下,这个结论都是对的。

    但其实无论是商业价值还是科研价值,占最大比重的都是剩下那1%。

    再加上算法层面,目前的LLM远还没到理想的统计学上限。
    而工具层面,上下文信息还不能无痛完全采集。

    所以就导致其功效的二八原则也非常明显。谁更有行业的领先视野,谁更能提供最有价值的上下文,谁更能高效的纠偏提点,谁就越能发挥LLM的潜力。

    当然,随着算法和工具的逐渐完善,统计学和现实世界的“夹角”也会进一步缩小。就像是智驾一样,从辅助到有人到集控到最后的完全无人。总是有一个过程的。

    所以统计学模型其实是非常令人绝望的一种形态。他会随着算法、数据、工具的完善,逐渐吞噬掉一个又一个的行业,一个又一个的阶层,让可能本来在前20%就能掌握80%的资源的生态,演进到前千分之一,掌握99.9%的资源的高度集中态。


  • 给论坛整了套专属表情,申请收编
    kop wangK kop wang
    随便聊聊

    你看我说啥来的,抡锤娘就秒过


  • r9700 hermes出token慢
    kop wangK kop wang
    AI硬件 r9700 hermes

    有几个因素:1、因为hermes有很多的系统提示词以及提示词加工,相当于是要一口气输入大概10k到20k token的内容。

    2、hermes是附带工具调用的,所以你看到他回复,是hermes已经和你的llm私下交流过n次之后的结果。

    因此,对于agent工具而言,llm的性能不光要看decode速度,从某种意义上讲,prefill速度更为重要。


  • Strata低功耗双卡RTX 6000 Pro 千问Flash Next IQ4 XS 210tok/s 爽玩
    kop wangK kop wang
    AI硬件 strata rtxpro6000 qwen-flash

    楼主帖子刚发完,官方setup就支持nvfp4了……
    应该速度还能再快50~100t/s

    btw:191GB的显存,其实是可以直接sglang来运行的,为何要用strata……


  • 授予@566656661 超凡大师称号,恭喜Kop Wang声望达到100
    kop wangK kop wang
    荣誉大厅

    再次感谢锤哥的这个平台。

    纯属雕虫小技,多向各位大神学习。


  • 關於GB10跟N1X
    kop wangK kop wang
    随便聊聊 gb10

    @怪物 楼主的错误可以理解,很多人人为模型的“体量”=“能力”。但实际上并不是如此。

    体量只决定静态知识储备和统计学趋势(类似于一个人没手机,无工具情况下,自己的脑子里的知识总量和思维判断)。

    能力就更为复杂一些。举个简单粗暴的例子,一个小学生+google,知识体量也一定赢过大学生自身脑容量,但是实际场景的问题解决,则不见得谁更强。

    所以认知模型能力更相对客观的是看benchmark,也就是跑分。
    我比较常用参考的跑分网站:https://benchlm.ai/llm-agent-benchmarks

    我最推荐的Qwen3.6-27B非拒绝模型是https://huggingface.co/HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive

    仅供参考。


  • (1.17.11已解决)OpenCode 1.17.10版本有重大bug,会导致使用中频繁崩溃,可以通过 opencode upgrade 1.17.09回退
    kop wangK kop wang
    AI Agent open-code

    如题,如需安装指定版本,可以执行命令:

    opencode upgrade 1.17.09
    

    如果需要opencode禁止自动更新,需要在:

    LINUX:~/.config/opencode/opencode.json
    WINDOWS: C:\Users\你的用户名\.config\opencode
    

    配置以下内容:

     "autoupdate": false
    

    需要注意json格式的完整性,望知悉。

  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组