我业余爱好打打游戏，在2008年那会盗版光碟泛滥的情况下天天研究怎么装游戏玩游戏，把最基本的电脑操作学会了。今年年初才关注到ai agent 小龙虾自己装没装成功，放弃了。然后hermes在mac上装成功了，看老特视频我就开了deepseekv4pro的api给hermes，我屁都不懂问Gemini学会了装Ubuntu24，给我的主力机5700x3d64g7900xtx装上了，然后问Gemini怎么配置llamacpp，这软件安装不像lms那样简洁明了，我又晕了。后来灵机一动，我把mac上的hermes远程ssh连接主力机，我让hermes给我配置环境运行llamacpp，结果非常好，本地配的27b开tubro3能跑30多。然后我就网上套了一套3代epyc的主板配个便宜u，8通道内存啊，128pcie通道啊，5个满速的pcie4x16，太牛逼了。把我淘汰的3070和4070s装上，准备让hermes给我再配置一个llama服务器跑27b35b，最近在配置，还缺点配件，等好了交作业给大家参考。现在我已经能用主力机上配好的27b api提供给hermes了，不用事事都问v4pro了，让他在给我调新的epyc服务器。最后我想说一句ai agent真牛逼，让我这种普通人都可以编程写脚本了，脑洞多大，舞台多大。

@Max-han 然后我就网上套了一套3代epyc的主板配个便宜u，8通道内存啊，128pcie通道啊，5个满速的pcie4x16，太牛逼了。
这个操作很神奇，是的，我也在考虑购入那玩意，下半年折腾，现在x99完全够用。

我业余爱好打打游戏，在2008年那会盗版光碟泛滥的情况下天天研究怎么装游戏玩游戏，把最基本的电脑操作学会了。今年年初才关注到ai agent 小龙虾自己装没装成功，放弃了。然后hermes在mac上装成功了，看老特视频我就开了deepseekv4pro的api给hermes，我屁都不懂问Gemini学会了装Ubuntu24，给我的主力机5700x3d64g7900xtx装上了，然后问Gemini怎么配置llamacpp，这软件安装不像lms那样简洁明了，我又晕了。后来灵机一动，我把mac上的hermes远程ssh连接主力机，我让hermes给我配置环境运行llamacpp，结果非常好，本地配的27b开tubro3能跑30多。然后我就网上套了一套3代epyc的主板配个便宜u，8通道内存啊，128pcie通道啊，5个满速的pcie4x16，太牛逼了。把我淘汰的3070和4070s装上，准备让hermes给我再配置一个llama服务器跑27b35b，最近在配置，还缺点配件，等好了交作业给大家参考。现在我已经能用主力机上配好的27b api提供给hermes了，不用事事都问v4pro了，让他在给我调新的epyc服务器。最后我想说一句ai agent真牛逼，让我这种普通人都可以编程写脚本了，脑洞多大，舞台多大。

@terry 说:

@Max-han 然后我就网上套了一套3代epyc的主板配个便宜u，8通道内存啊，128pcie通道啊，5个满速的pcie4x16，太牛逼了。
这个操作很神奇，是的，我也在考虑购入那玩意，下半年折腾，现在x99完全够用。

epyc 真的贵啊
那个huananzhi 给我的价钱 epyc7502 + 主板 3150.. 贵两千...

我现在主要是用在线的API，先把Hermes Agent它的边界摸清楚，尤其是要把它这个事情跟这个现在工作中进行工作流进行结合。如果在实际工作中不能应用的话，那就像拿着锤子找不到钉子一样，特别难受，而且没有动力。所以希望大家都找到自己的钉子，我们已经拥有了威力无穷的锤子，就差钉子了。

@applejuice 我看拼多多上版u分開買好像兩千多人民幣就搞定了

@菠菜多 是这样的，而且即便是有本地算力的朋友，也可以利用在线API高prefill、decode的性能，先跑通自己需要的工作流以及需求。固定skill之后，利用本地算力再介入负责执行。

这样既能高效的搭建工作流，又可以保障实际运行时的隐私与信息安全。

LocalLLM的优势是能提供稳定的基座算力，跟头部在线API比，无论是智力、上下文长度、还是性能，还是有不小的差距。

我预测，支持开源自部署的模型，一定会一直维持现在这种接近顶级模型85%~90%左右的能力。无论过高还是过低，开源模型这个产业逻辑都成立不了。