跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. AI硬件
  3. 跑27b模型购买设备请教

跑27b模型购买设备请教

已定时 已固定 已锁定 已移动 AI硬件
16 帖子 10 发布者 602 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • Y y2k

    @terry 买24g卡的话。我只能选择7900xtx,3900矿卡是不敢买的,3080 20g之所以敢买是因为有厂家1年保修

    terryT 在线
    terryT 在线
    terry
    编写于 最后由 编辑
    #5

    @y2k 那就买xtx,一步到位,它足够用了。你在hermes里优化设置是浪费时间,xtx可以开128k吗,足够了。

    Y 1 条回复 最后回复
    0
    • terryT terry

      @y2k 那就买xtx,一步到位,它足够用了。你在hermes里优化设置是浪费时间,xtx可以开128k吗,足够了。

      Y 离线
      Y 离线
      y2k
      编写于 最后由 编辑
      #6

      @terry 好的,听取博主意见,后面有坑记得告知哈

      1 条回复 最后回复
      0
      • Sam HsuS 离线
        Sam HsuS 离线
        Sam Hsu
        编写于 最后由 编辑
        #7

        如果可以 建議還是買3090 如果以後要跑comfyui 少折磨 或者要賣 都容易脫手
        二手3090也是有保固的 國內維修都是小問題 除非是在國外

        1 条回复 最后回复
        0
        • TideT 离线
          TideT 离线
          Tide
          编写于 最后由 编辑
          #8

          我就是3080 20G,只是拿来玩玩可以,干正事建议你还是规格往上。你听老特的没错,他这人尽说实话。

          1 条回复 最后回复
          0
          • A 离线
            A 离线
            asd2667
            编写于 最后由 编辑
            #9

            iq4-xs 可以跑128K上下文 KV8压缩

            1 条回复 最后回复
            0
            • Y y2k

              目前我给hermes提示了一个规则,做复杂任务时,上下文到达16k后,压缩归纳,然后重开一个新的对话,继续接着做,直到任务完成为止。目前用了这个规则,测试了一个复杂任务也能处理好了,分享一下

              怪 离线
              怪 离线
              怪叔叔
              编写于 最后由 编辑
              #10

              @y2k 能具体介绍一下方法嘛?谢谢

              1 条回复 最后回复
              0
              • I 离线
                I 离线
                im17me
                编写于 最后由 编辑
                #11

                看自已能接受什么价位,要么上3090 24g,有钱最好上4090 48g

                1 条回复 最后回复
                0
                • Y y2k

                  博主好,首先感谢你在油管分享的视频,我看了大受震撼!本人长期和linux系统打交道,最近借了同事的5060ti 16g显卡部署了wen3.6-27b-iq4-xs模型,全量加载后13.5g,可用显存1.5g,开启kv cache 双q8后,勉强可以跑20k上下文。接着在另外一个笔记本上部署hermes,要求64k上下文,虽然通过设置可以让hermes运行,但是每次执行任务很快就到18k上下文,做简单任务有时候都会溢出,真是让人又爱又恨!目前想买3080 20g卡学习 comfyui ,同时也需要跑跑本地模型编程,问问20g的3080最大可以跑多少上下文?不胜感激!

                  williamlouisW 离线
                  williamlouisW 离线
                  williamlouis
                  编写于 最后由 编辑
                  #12

                  @y2k 推荐小霸王学习机 7900xtx 24G

                  个人主页:xlkj.org Telegram https://t.me/xinlinlu

                  1 条回复 最后回复
                  0
                  • williamlouisW 离线
                    williamlouisW 离线
                    williamlouis
                    编写于 最后由 编辑
                    #13

                    昨天看了下 蓝宝石 拼多多上有货 5928.全新无矿最重要。

                    个人主页:xlkj.org Telegram https://t.me/xinlinlu

                    J 1 条回复 最后回复
                    0
                    • williamlouisW williamlouis

                      昨天看了下 蓝宝石 拼多多上有货 5928.全新无矿最重要。

                      J 离线
                      J 离线
                      joker_chang
                      编写于 最后由 编辑
                      #14

                      @williamlouis 怎么可能不是矿卡......

                      A 1 条回复 最后回复
                      0
                      • J joker_chang

                        @williamlouis 怎么可能不是矿卡......

                        A 离线
                        A 离线
                        applejuice
                        编写于 最后由 applejuice 编辑
                        #15

                        @joker_chang 说:

                        @williamlouis 怎么可能不是矿卡......

                        可不可以基本可以100%确定 3090 一定是矿卡?
                        矿卡跑了几年有10-20%的性能下降?

                        我昨天下决心 不要买3090 结果huananzi 信誓旦旦 说不会有问题
                        有两年保家 害我又犹豫了

                        terryT 1 条回复 最后回复
                        0
                        • A applejuice

                          @joker_chang 说:

                          @williamlouis 怎么可能不是矿卡......

                          可不可以基本可以100%确定 3090 一定是矿卡?
                          矿卡跑了几年有10-20%的性能下降?

                          我昨天下决心 不要买3090 结果huananzi 信誓旦旦 说不会有问题
                          有两年保家 害我又犹豫了

                          terryT 在线
                          terryT 在线
                          terry
                          编写于 最后由 terry 编辑
                          #16

                          @applejuice 3090早特么停产了,100%矿卡,给你保你相信就没啥问题,关键是互信。

                          1 条回复 最后回复
                          1

                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                          有了你的建议,这篇帖子会更精彩哦 💗

                          注册 登录
                          回复
                          • 在新帖中回复
                          登录后回复
                          • 从旧到新
                          • 从新到旧
                          • 最多赞同


                          • 登录

                          • 没有帐号? 注册

                          • 登录或注册以进行搜索。
                          • 第一个帖子
                            最后一个帖子
                          0
                          • 版块
                          • 最新
                          • 标签
                          • 热门
                          • 用户
                          • 群组