跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. AI硬件
  3. 跑27b模型购买设备请教

跑27b模型购买设备请教

已定时 已固定 已锁定 已移动 AI硬件
16 帖子 10 发布者 602 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • terryT terry

    20G不知道呢,如果你折腾turboquant跑hermes是可以的,论坛有人跑起来了,Q4KM的模型要16.5G,只剩下3.5G,你可以多看看他们的帖子,买24G的卡吧。Q4KS或者你说的Iq4之类的,在hermes任务中明显不如Q4KM,我亲测。

    Y 离线
    Y 离线
    y2k
    编写于 最后由 编辑
    #4

    @terry 买24g卡的话。我只能选择7900xtx,3900矿卡是不敢买的,3080 20g之所以敢买是因为有厂家1年保修

    terryT 1 条回复 最后回复
    0
    • Y y2k

      @terry 买24g卡的话。我只能选择7900xtx,3900矿卡是不敢买的,3080 20g之所以敢买是因为有厂家1年保修

      terryT 在线
      terryT 在线
      terry
      编写于 最后由 编辑
      #5

      @y2k 那就买xtx,一步到位,它足够用了。你在hermes里优化设置是浪费时间,xtx可以开128k吗,足够了。

      Y 1 条回复 最后回复
      0
      • terryT terry

        @y2k 那就买xtx,一步到位,它足够用了。你在hermes里优化设置是浪费时间,xtx可以开128k吗,足够了。

        Y 离线
        Y 离线
        y2k
        编写于 最后由 编辑
        #6

        @terry 好的,听取博主意见,后面有坑记得告知哈

        1 条回复 最后回复
        0
        • Sam HsuS 离线
          Sam HsuS 离线
          Sam Hsu
          编写于 最后由 编辑
          #7

          如果可以 建議還是買3090 如果以後要跑comfyui 少折磨 或者要賣 都容易脫手
          二手3090也是有保固的 國內維修都是小問題 除非是在國外

          1 条回复 最后回复
          0
          • TideT 离线
            TideT 离线
            Tide
            编写于 最后由 编辑
            #8

            我就是3080 20G,只是拿来玩玩可以,干正事建议你还是规格往上。你听老特的没错,他这人尽说实话。

            1 条回复 最后回复
            0
            • A 离线
              A 离线
              asd2667
              编写于 最后由 编辑
              #9

              iq4-xs 可以跑128K上下文 KV8压缩

              1 条回复 最后回复
              0
              • Y y2k

                目前我给hermes提示了一个规则,做复杂任务时,上下文到达16k后,压缩归纳,然后重开一个新的对话,继续接着做,直到任务完成为止。目前用了这个规则,测试了一个复杂任务也能处理好了,分享一下

                怪 离线
                怪 离线
                怪叔叔
                编写于 最后由 编辑
                #10

                @y2k 能具体介绍一下方法嘛?谢谢

                1 条回复 最后回复
                0
                • I 离线
                  I 离线
                  im17me
                  编写于 最后由 编辑
                  #11

                  看自已能接受什么价位,要么上3090 24g,有钱最好上4090 48g

                  1 条回复 最后回复
                  0
                  • Y y2k

                    博主好,首先感谢你在油管分享的视频,我看了大受震撼!本人长期和linux系统打交道,最近借了同事的5060ti 16g显卡部署了wen3.6-27b-iq4-xs模型,全量加载后13.5g,可用显存1.5g,开启kv cache 双q8后,勉强可以跑20k上下文。接着在另外一个笔记本上部署hermes,要求64k上下文,虽然通过设置可以让hermes运行,但是每次执行任务很快就到18k上下文,做简单任务有时候都会溢出,真是让人又爱又恨!目前想买3080 20g卡学习 comfyui ,同时也需要跑跑本地模型编程,问问20g的3080最大可以跑多少上下文?不胜感激!

                    williamlouisW 离线
                    williamlouisW 离线
                    williamlouis
                    编写于 最后由 编辑
                    #12

                    @y2k 推荐小霸王学习机 7900xtx 24G

                    个人主页:xlkj.org Telegram https://t.me/xinlinlu

                    1 条回复 最后回复
                    0
                    • williamlouisW 离线
                      williamlouisW 离线
                      williamlouis
                      编写于 最后由 编辑
                      #13

                      昨天看了下 蓝宝石 拼多多上有货 5928.全新无矿最重要。

                      个人主页:xlkj.org Telegram https://t.me/xinlinlu

                      J 1 条回复 最后回复
                      0
                      • williamlouisW williamlouis

                        昨天看了下 蓝宝石 拼多多上有货 5928.全新无矿最重要。

                        J 离线
                        J 离线
                        joker_chang
                        编写于 最后由 编辑
                        #14

                        @williamlouis 怎么可能不是矿卡......

                        A 1 条回复 最后回复
                        0
                        • J joker_chang

                          @williamlouis 怎么可能不是矿卡......

                          A 在线
                          A 在线
                          applejuice
                          编写于 最后由 applejuice 编辑
                          #15

                          @joker_chang 说:

                          @williamlouis 怎么可能不是矿卡......

                          可不可以基本可以100%确定 3090 一定是矿卡?
                          矿卡跑了几年有10-20%的性能下降?

                          我昨天下决心 不要买3090 结果huananzi 信誓旦旦 说不会有问题
                          有两年保家 害我又犹豫了

                          terryT 1 条回复 最后回复
                          0
                          • A applejuice

                            @joker_chang 说:

                            @williamlouis 怎么可能不是矿卡......

                            可不可以基本可以100%确定 3090 一定是矿卡?
                            矿卡跑了几年有10-20%的性能下降?

                            我昨天下决心 不要买3090 结果huananzi 信誓旦旦 说不会有问题
                            有两年保家 害我又犹豫了

                            terryT 在线
                            terryT 在线
                            terry
                            编写于 最后由 terry 编辑
                            #16

                            @applejuice 3090早特么停产了,100%矿卡,给你保你相信就没啥问题,关键是互信。

                            1 条回复 最后回复
                            1

                            你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                            厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                            有了你的建议,这篇帖子会更精彩哦 💗

                            注册 登录
                            回复
                            • 在新帖中回复
                            登录后回复
                            • 从旧到新
                            • 从新到旧
                            • 最多赞同


                            • 登录

                            • 没有帐号? 注册

                            • 登录或注册以进行搜索。
                            • 第一个帖子
                              最后一个帖子
                            0
                            • 版块
                            • 最新
                            • 标签
                            • 热门
                            • 用户
                            • 群组