R9700 ai pro 32G 跑大模型还是很给力的,速度也不错
-
@kop-wang 其实本地模型最大的意义就是在于Agent,就它消耗Tokens又对智力有要求。其他场景都可以使用在线API,或者网页版本开发的程序替代。所以我一直认为,一个好的本地模型必须能跑顺Hermes,OpenClaw之类的Agent,否则没什么意义。当然了,多模态模型,功能性模型另说。
-
@terry 有没有必要先连 deepseek api让hermes积累一些skills,再接qwen27b,感觉27b做研究不行,看长文件也不行,特别是联网有问题,开梯子也不行。不知道是不是配置的不对。
感觉hermes不如claude cli 和 codex cli,但是接入后两个,也就打个招呼就断了,也都是用hermes 连deepseek pro配置的,不好搞,有没有什么思路提供,谢谢。@Brian
1,如果说好用Cluade肯定好用,它说提示词和上下文过度使用的典范,缺点就是贵。
2,恕我直言,99%的人只要使用Hermes+DeepSeek V4 Flash,就能完成他们99%的任务。剩下那1%是留给有大工程的人的差别环境,但如果这些人真的懂,DeepSeek V4 Pro或Qwen3.7 Max这样的国产模型也完全够用。
3,使用DeepSeek先跑一次,只是节约时间,因为它快,我测试过完全删掉Hermes,重装,让Qwen3.6 27b从零开始,它依然能跑通。
4,你连联网都配置不好,说明你对系统环境缺乏常识,终端默认不走梯子,需要你配置代理。一般的梯子比如V2Ray N,会在本地开HTTP或者Socks5代理,问下AI怎么配置。Hermes启动变量中也加入代理,防止未生效。这些东西是基本功,你要有耐心,配置不好,问题多半在你自己。
5,Hermes初始化的时候,它执行网络任务如果失败,你要明确告诉它,使用CURL而不是Web Search执行基础网络任务。如果可以的话,你申请一个谷歌 Search给它,会更好。这些在视频里我都明确讲过,谷歌的免费额度也够用了,超过了收费也很便宜。配置这些的时候,让DeepSeek上,因为它更快。Hermes不需要安装skills,我一个都没安装,都是它自己总结的。 -
@terry 有没有必要先连 deepseek api让hermes积累一些skills,再接qwen27b,感觉27b做研究不行,看长文件也不行,特别是联网有问题,开梯子也不行。不知道是不是配置的不对。
感觉hermes不如claude cli 和 codex cli,但是接入后两个,也就打个招呼就断了,也都是用hermes 连deepseek pro配置的,不好搞,有没有什么思路提供,谢谢。 -
@Brian
1,如果说好用Cluade肯定好用,它说提示词和上下文过度使用的典范,缺点就是贵。
2,恕我直言,99%的人只要使用Hermes+DeepSeek V4 Flash,就能完成他们99%的任务。剩下那1%是留给有大工程的人的差别环境,但如果这些人真的懂,DeepSeek V4 Pro或Qwen3.7 Max这样的国产模型也完全够用。
3,使用DeepSeek先跑一次,只是节约时间,因为它快,我测试过完全删掉Hermes,重装,让Qwen3.6 27b从零开始,它依然能跑通。
4,你连联网都配置不好,说明你对系统环境缺乏常识,终端默认不走梯子,需要你配置代理。一般的梯子比如V2Ray N,会在本地开HTTP或者Socks5代理,问下AI怎么配置。Hermes启动变量中也加入代理,防止未生效。这些东西是基本功,你要有耐心,配置不好,问题多半在你自己。
5,Hermes初始化的时候,它执行网络任务如果失败,你要明确告诉它,使用CURL而不是Web Search执行基础网络任务。如果可以的话,你申请一个谷歌 Search给它,会更好。这些在视频里我都明确讲过,谷歌的免费额度也够用了,超过了收费也很便宜。配置这些的时候,让DeepSeek上,因为它更快。Hermes不需要安装skills,我一个都没安装,都是它自己总结的。@Terry 确实,网配不好说明了一个问题,一个人不是不努力,也不是不学习,是没有意识,1是问AI问不到点子上,2是AI回答了也不见得看明白。门槛跨不过去就放弃了。
我一直想用大模型+提示词+搜索做一个稳定的多文档生成系统,文档之间逻辑相关。业余时间搞了个软件。
听你说模型的变化会导致输出不稳定,我觉得很有道理,我也试了不同家的api出来的差别很大。所以就搞个本地27b试试水。
claude做的太好了,自己的llm+agent确实是典范,普通人有没有必要自己搞个软件接自己部署的本地API,还是直接拥抱claude和codex,但是持续给claude和codex输送最佳实践会加速自己被取代。
提个问题,希望可以做你的视频素材 -
@张老师 因为 装上跑一下就完事了。35B 我都2060 8G跑了一下。27B 稠密启动都启动不了。