B70能到40
B60的差距也太大了啊


B70能到40
B60的差距也太大了啊




Hermes agent 折腾了一阵子了,来汇报一下
这家伙确实费tokens,Deepseek把价格打下来后,不敞开用每天差不多3.5左右
敞开用的话估计10块差不多。
也分别测试了很多模型,从性价比和智力情况以及反应速度上说,deepseek-v4-flash还是占优,现在就作为主模型了。

本地小模型也测试了一下,智力堪忧,有时候直接空口白牙说谎,没做的配置文件死活告诉我说已经搞好了,自己直接改了配置文件死活不承认。

关于辅助模块的模型,火山引擎送了很多免费tokens,每天循环送。所以我把各个辅助模块配置到了这里。

关于Hermes 的使用大家讲的都很多,我再次不多赘述。接下来讲讲部署环境。
我的家庭网络环境里有2台ALL IN 1主机,一台宿主机是windows,一台是PVE。
两台机器配置是一样的。都是J3455的老机器。8G内存,120G固态做主系统,双4T机械垂直盘。


Hermes agent 安装在这台windows的机器上。这台机器共虚拟了4个虚拟环境,一个debian,2个软路由openwrt,因为我在海外的原因采用双网关,其中一台软路由通过VLAN对接特定wifi的ssid,直接跑回国内,用来处理一些海外无法访问的应用,比如银行啊之类的,总之就是假装在国内。

一台处理去广告以及dns加速,双线切换以及多路分流以及CF隧道,虚拟局域网,内网穿透等工作。

其中一台win2003系统偶尔跑一些需要偶尔长时间开的任务,比如跑个下载啥的。
接下来重点说说安装Hermes agent 的debian。

CPU给开了2个核心,内存2G,硬盘50G放在ssd上。再开启了2G的虚拟内存。

实际使用过程中这配置足够。

Hermes agent 安装的使用了容器安装。面板使用了开源的1Panel。


可能是年龄大了,记忆力有些下降,记不住那么多命令了,使用面板就是为了简单,修改配置文件什么的都很方便。

对接聊天工具也很直观,简单,点几下就搞定了,不用消耗tokens,让agent配置还得消耗tokens。
似乎大概就这样了。
总之来说,不用单独买一台机器给agent,开个虚拟机给她完全狗用了,绿色环保又管饱。

商汤科技sensetime的日日新模型平台公测,
注册 生成key就可以API调用了,
显示有3个模型可用,我实际调用时 sensenova-6.7-flash-lite 和 deepseek-v4-flash可以正常使用。
各模型 5 小时窗口独立计数,1500次调用

我在奔5的路上,也是接触本地部署AI做推理。
一开始很陌生,经过一百多天的学习接触与实践,现在看也不是十分艰难,日进一步嘛。
agent完全可以做到控制电脑来文生图,图生视频。
如果怕agent瞎搞,写提示词,让她记住在每次改动配置和删除文件之前都要确认,但这样会很烦人。
最优解还是给她一个单独的生产环境,比如单独一台机器。其实也可以开一个虚拟机,把显卡透穿进去,这个虚拟机环境只给agent用,也不影响自己用电脑。
看运行环境。
如果主要是跑推理模型驱动Hermes的话,R9700应该很轻松胜任。我的9700要到8月才能运到。
不过我用16G的rtx A5000,跑qwen3 14b 和gpt oss 20b 这两个模型来本地驱动Hermes,除了慢一点傻一点外,似乎没什么大问题
如题,在笔记本上跑了一下gemma 4 12B ,测了一下,不开思考模式的情况下,感觉智力还凑合,没有啥逼的感觉了,虽然偶尔还是抽风,开启思考模式就有点好转了。原生多模态,支持图片识别,喷她的时候可以让她自己看看自己输出的是啥。
生成了几个网页代码,交互有动画的,凑合能用!

生成的太极八卦图实属傻逼了

先跑起来培养一下熟悉感,提高信心
找到方向量产再向linux迁移
感谢老特提供的这个平台。

我个人有一些硬件知识,曾开设电脑装配机以及芯片级维修店。但对于AI软硬件其实也是纯新手小白一个,而且我个人目前在海外定居,硬件购买环境也非常不友好,价格和国内对比的话简直高的离谱,就像是老特说的:简直就是抢钱。
再加上手上没米,所以我在硬件上入手上动作缓慢,目前使用几年前的一台dell的移动工作站做主力机来进行AI相关的运行测试来加强学习。
我从接触电脑以来一直是windows界面用户,期间接触过一点linux,学习一点点基础使用知识,所以对与linux的熟悉度约等于0。
我刚开始想要学习使用各种AI程序时,就发现各种代码编写基本上都可以直接在linux下直接跑,就觉得要想用好AI,必要要从windows下转平台到Linux了。
有一天我在电脑上全新安装了ubuntu系统,照着安装命令按粘贴复制运行,下载来各种本地推理框架和ComfyUi学习使用。
一开始,最简单的聊天对话没啥难度门槛,直接就可以了,后来学习使用工作流ComfyUi的时候感觉简直天要塌了。
光是运行环境的话也是复制粘贴运行,一键下载自动搞定,下载优化模型和各位大佬的工作流到linux下就让我头疼不已。
后来有回到windows下,用各种整合包一键运行,学习测试还是比较顺利。
所以这么多天下来,大概得到的结论是,纯小白新手,AIGC门槛较低的平台还是在windows上,相对要友好很多。
各种整合包,一键运行包等,以及B站上的各位大神的包,都是windows下的,已经配置好合适的python和ComfyUI版本,以及对应节点模型版本等,迁移到linux下就会有各种版本冲突问题,小白极其不友好,可能会打击小白学习的信心。
有没有统计下功耗,每天耗电几何
rtl8125网卡是2.5G,网络环境怎么样,1G还是万兆了?
我是压根没见过intel的卡,实测还是要有实物的上手试试,期待报告

我的选择是这三个公用。
CLOUDFLARE不需要服务器,域名绑定可以直接访问,但是服务端口数有限,有时候速度总是抽风。
frp需要vps自建服务器,当然也有免费的服务器,只是安全上自己心理过不去
ZeroTier 国内外互联需要自建moon,而且跨境互联有些运营商压根不能互通,直连压根连不上,影响速度
这个卡看起来成色不错啊。
有防拆帖,似乎没大修过。

但看这个螺丝似乎是拧过的,不知道是清灰还是什么原因

焊点看起来是原厂焊点,贴纸没有遇到高温变色,总体看很成色可以,只是有些螺丝似乎是拧过的。问问卖家看什么原因,问题不大的话我个人感觉可以入手。
仅代表个人观点,不代表交易建议。赌卡风险大,入手需谨慎啊
3090这火龙如果不是有硬件动手能力,建议还是7900xtx
被妈妈白嫖的话也要考虑进去你再买一个会不会又被漂走
发的图看不到。直接复制粘贴容易出错
建议截图重发。
1w8马币折合3W多点人民币,价格和内地差不多啊
老特推荐的RTX Pro 5000如果楼主不考虑,还有一个型号 RTX Pro 4500可以考虑考查下,算力低一点但是显存32G是真香
我个人觉得这个问题要从3个角度来考虑:
1、硬件
现在的工艺和材料改装后质量稳定性上基本上可以放心了,首要考虑价格差以及新买的售后保障服务,看看自己是看重哪个
2、 生态问题
英伟达和AMD的夸门切换带来的可不是换个卡装下驱动那么简单,由于CUDA生态的支配地位,切换到AMD以后会有很多软件不支持,但说AI这一块的话就有不成熟需要自己折腾
3、个人能力
由于生态切换带来的诸多问题,虽然linux下支持会比windows下好很多,但是对于个人的动手能力有了极大的要求,看看自己能不能玩转了
我是前几年移民南美洲的,
目前的主力机型是:
DELL 7760工作站 128G内存 RTX A5000 16G显存
还有一台M4800 工作站,4910的CPU,插满了32G内存,RX560 8G的显卡, 这个机器浏览网页,看看视频
偶尔看到老特的视频,笔记本外接显卡跑AI也很好,就想增加2个外接显卡坞 配上两个显卡。
这里的显卡很贵,5月12日的最新报价:
ASRock 32G Radeon AI PRO R9700 2260美元
NVIDIA RTX PRO 4000 Blackwell SFF 24GB 2960美元
Asus Rog Astral Rtx-5090 32gb Gaming 3995 美元
PNY NVIDIA RTX PRO 4500 Graphic Card – 32 GB 4650 美元
PNY NVIDIA RTX Quadro PRO 5000 Graphic Card – 48 GB 8185 美元
PNY NVIDIA RTX PRO 6000 Blackwell Workstation 96GB 15961 美元