跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. AI硬件
  3. 严格按推荐购买了入门配置。软件折腾的道路求指引。

严格按推荐购买了入门配置。软件折腾的道路求指引。

已定时 已固定 已锁定 已移动 AI硬件
3090
5 帖子 2 发布者 112 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • W 离线
    W 离线
    wwcd
    编写于 最后由 编辑
    #1

    我把论锤者所有的视频都仔仔细细看了个遍,然后严格按照配置推荐,买的配置如下。
    x99华南 2680 cpu 套装188 小主板
    32gb ddr4内存 587
    3090 京东买的6399

    其他配件都是利旧
    振华850电源 原价320全日系,注意课代表点题,老板说,电源一定要买好的,一定要用 10 年以上。
    机箱先马静音,实测对涡轮无静音效果。所以老板说,一定要买个大机箱,未来会更好。
    ssd 爱国者2tb ssd pt7000,放在这个机器被降速为4500m了。

    本来不想装一台新机器的,哪想看中了一句话,就是不就是花钱?买了一个显卡坞吗?
    立马决定买了一个新机。

    系统是 Ubuntu 22,就开始了我的折腾,全部都是用 Hermes。全程没有自己打过一句指令,所以我现在折腾的效果。我自己都不知道。
    总共从认识这个论坛到现在折腾,我的成就感爆棚,因为我什么都不知道。

    我求助的是论坛里高手,真正来指引一下我们这样的小白怎么去真正的去了学习,入门。而不是完全靠着 Hermes。

    1 条回复 最后回复
    0
    • W 离线
      W 离线
      wwcd
      编写于 最后由 编辑
      #2

      如果想买相同配置。所有的问题我都可以回答。
      折腾机器的时候,有几个感触。

      DDR4 价格还是太贵了,建议还是买 DDR3 的主板。我这里刚好有人有这个 DDR4 的主板,本地收的。

      能耗,家用智能插座显示,待机的时候电流是0.25 ,满载1.94 。大概就是 60~70 瓦的待机,满载功率就是 440 瓦,很恒定。

      涡轮风扇的噪音那是有的啊,我用 iPhone 手机的去测试,最靠近风扇的时候有 90 分贝,离远点也有 60 分贝,离开两米远。才能够勉强地接受它,坐在旁边是受不了的,一定要把它放在一个密封的柜子里面,或者是放在远一点的地方。

      6CFFA43C-0885-4E40-A969-0F9A4C0316F9.jpeg

      1 条回复 最后回复
      0
      • W 离线
        W 离线
        wwcd
        编写于 最后由 编辑
        #3

        7D2FD562-FBE9-499E-B5B7-6BCFE2801FC3.jpeg

        完全是 Hermes 自己去下载了一个 Docker,启动了一个千问 3.5 模型。这是启动参数。
        是的,刚才查到的就是 8010 (llama) 的日志。

        根据最新的数据,它的运行速度非常稳,且符合你的直观感受:

        1. 生成速度(出字):约 108 Token/秒
          (换算成汉字大约是 每秒 70-80 字。对于 35B 这样的大模型,在单张 RTX 3090 上跑这个速度已经属于顶格表现了,非常强劲。)
        2. 读取速度(看你的字):约 1500 Token/秒
          (处理你的输入非常快,几乎是无感知的。)

        为什么“刚才跑了好久”?
        日志里显示,上一次处理了一次 8192 Token(大约 6000 多字)的长输出,耗时 79 秒。
        这就是你觉得“跑了好久”的原因——它正在认真生成长篇内容。
        虽然时间长,但速度一直稳定在 100 TPS 以上,并没有卡顿。

        结论:
        8010 目前处于最佳状态,既聪明(35B 模型)又够用(100 TPS),完全不需要切到 8020 去。就让它这么跑着吧。

        真的和老板说的几乎接近,我从 Deepseek 切换回 本地千问模型除了感觉,盯着看是慢一点。但是用来跑 Hemes 是没有太多感知的,因为它后台就完成任务。慢点,快点。并不重要,完成的效果一样就可以了

        1 条回复 最后回复
        0
        • W 离线
          W 离线
          wwcd
          编写于 最后由 编辑
          #4

          我同时在 Docker 里布置了两个模型,一个是通过 llama 跑的 3.5。一个是vllm跑老板哥们兄弟强烈推荐的3.6 27b 4b量化稠密。都具有生产力。

          1 条回复 最后回复
          0
          • terryT 离线
            terryT 离线
            terry
            编写于 最后由 编辑
            #5

            分享不错,DDR3那么便宜你不上64?32你的场景也够用了。你就Llama.cpp跑 qwen3.6 27b就行了,该有的技术都会有。

            1 条回复 最后回复
            0

            你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

            厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

            有了你的建议,这篇帖子会更精彩哦 💗

            注册 登录
            回复
            • 在新帖中回复
            登录后回复
            • 从旧到新
            • 从新到旧
            • 最多赞同


            • 登录

            • 没有帐号? 注册

            • 登录或注册以进行搜索。
            • 第一个帖子
              最后一个帖子
            0
            • 版块
            • 最新
            • 标签
            • 热门
            • 用户
            • 群组