严格按推荐购买了入门配置。软件折腾的道路求指引。
-
我把论锤者所有的视频都仔仔细细看了个遍,然后严格按照配置推荐,买的配置如下。
x99华南 2680 cpu 套装188 小主板
32gb ddr4内存 587
3090 京东买的6399其他配件都是利旧
振华850电源 原价320全日系,注意课代表点题,老板说,电源一定要买好的,一定要用 10 年以上。
机箱先马静音,实测对涡轮无静音效果。所以老板说,一定要买个大机箱,未来会更好。
ssd 爱国者2tb ssd pt7000,放在这个机器被降速为4500m了。本来不想装一台新机器的,哪想看中了一句话,就是不就是花钱?买了一个显卡坞吗?
立马决定买了一个新机。系统是 Ubuntu 22,就开始了我的折腾,全部都是用 Hermes。全程没有自己打过一句指令,所以我现在折腾的效果。我自己都不知道。
总共从认识这个论坛到现在折腾,我的成就感爆棚,因为我什么都不知道。我求助的是论坛里高手,真正来指引一下我们这样的小白怎么去真正的去了学习,入门。而不是完全靠着 Hermes。
-
-

完全是 Hermes 自己去下载了一个 Docker,启动了一个千问 3.5 模型。这是启动参数。
是的,刚才查到的就是 8010 (llama) 的日志。根据最新的数据,它的运行速度非常稳,且符合你的直观感受:
- 生成速度(出字):约 108 Token/秒
(换算成汉字大约是 每秒 70-80 字。对于 35B 这样的大模型,在单张 RTX 3090 上跑这个速度已经属于顶格表现了,非常强劲。) - 读取速度(看你的字):约 1500 Token/秒
(处理你的输入非常快,几乎是无感知的。)
为什么“刚才跑了好久”?
日志里显示,上一次处理了一次 8192 Token(大约 6000 多字)的长输出,耗时 79 秒。
这就是你觉得“跑了好久”的原因——它正在认真生成长篇内容。
虽然时间长,但速度一直稳定在 100 TPS 以上,并没有卡顿。结论:
8010 目前处于最佳状态,既聪明(35B 模型)又够用(100 TPS),完全不需要切到 8020 去。就让它这么跑着吧。真的和老板说的几乎接近,我从 Deepseek 切换回 本地千问模型除了感觉,盯着看是慢一点。但是用来跑 Hemes 是没有太多感知的,因为它后台就完成任务。慢点,快点。并不重要,完成的效果一样就可以了
- 生成速度(出字):约 108 Token/秒
